95% recall, 80% answers: what LongMemEval retrieval scores don't tell you
Memory layers for AI agents love to quote LongMemEval. You will see 94%, 95%, 96%. Those numbers are real, but they usually measure retrieval: was o…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Our agentic coding benchmark results are now an open dataset on Hugging Face
I've put our benchmark numbers on Hugging Face, as an open dataset with a small leaderboard Space on top, so anyone can pull the rows and argue with…
Llmspeed Benchmark: Pick the Perfect On‑Device LLM Hardware Fast
Llmspeed Benchmark: Your Practical Guide to Choosing the Right Hardware for On‑Device LLMs Introduction If you’re tired of guessing whether a single…
Сколько инструментов должно быть у MCP-сервера? Я измерила от 5 до 100 в Claude Code, Codex и Gemini
Почти все советы по проектированию MCP-серверов сводятся к одному: держите инструментов поменьше. Я проанализировала 91 источник. 38 из них советуют…
Kandinsky 6.0 on a 16 GB GPU: the official recipe runs out of memory, and only the 29B model passed my Spanish test
Kandinsky 6.0 generates five seconds of video with its audio , voices included, from a text prompt (MIT license). I wanted to know two things: does…
디시전 AI 글로벌 벤치마크 'S1MB' 1위: 퍼플렉시티·클라우드플레어·메타 제친 Darwin-27B-ZTC-v5
요약(TL;DR): 비드래프트의 판정 엔진 Darwin-27B-ZTC-v5가 허깅페이스 공개 벤치마크 S1MB에서 152개 모델 중 종합 1위에 올랐다. 137개 벤치마크 순위를 점수로 바꿔 평균한 Borda 점수는 91.16으로, 2위 퍼플렉시티(88.66)를 2…
На арене PlyLoom — Qwen против DeepSeek
Суть эксперимента сравнить графовые ответы 2-х моделей относительно друг-друга. Обоим моделям (QWEN 3.8 MAX и DEEPSEEK V4) был задан один и тот же п…
Прогнали GigaChat 3.5 по реальным кейсам: Результаты большого тест‑драйва
GigaChat 3.5 вышел в июле этого года, а в начале сентября были выложены открытые веса этой модели. И многие сейчас задаются…
Приниматоры решений: бенчмарк на русском для Jev-style моделей
Последние пару лет мы довольно странно используем большие языковые модели. Из-за их умения делать всё мы пытаемся решить с их помощью всё — роутинг…
Half the MCP servers that answer you don't actually work
A dated, reproducible health probe of 78 registry-listed MCP servers. Pennyforge Studio · 2026-10-05 · second dated point 2026-10-06 · repro + raw d…
Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале
Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…
Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале
Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…
Small String Optimization: где заканчивается стек и начинается куча
При написании одного парсинга, в цикле которого создается std::string заметил одну странность, что при определенных ключах цикл работает заметно дол…
Claude Opus 5.5: 40% cheaper, frontier-grade performance
This week was dominated by cost compression and gateway consolidation. Claude Opus 5.5 dropped with a meaningful price cut and no code changes requi…
Умеет ли Jev быть guard-моделью для LLM?
За эти 2 года опенсорс Guard моделей не менялся принципиально: периодически выходили энкодеры, про которые быстро забывали, но SOTA всегда оставалис…
How LLM Evaluation Actually Works: Inside the Satellite Geo QCM Leaderboard
How LLM Evaluation Actually Works: Inside the Satellite Geo QCM Leaderboard TL;DR: LLM evaluation only produces comparable numbers when every model…
A code review benchmark that isn't the vendor ranking itself
Ask which AI code review tool is best and the answer you get depends on who is publishing it. The deepsource.com listicle ranks CodeRabbit first and…
Последний пеликан
Что-то много пеликанов на велосипеде начало появляться в ленте моего информационного пузыря в твиттер и я решил провести собственный эксперимент: GP…
JetBrains Ranked AI Agents on Real Kotlin Projects. The Token Column Is the Real Story.
JetBrains released the Kotlin Benchmark , its official benchmark for grading AI coding agents on real Kotlin engineering work. Claude Code with Opus…
Two "Codex CLI" models on the same benchmark: the harness hides the model
Specific Labs dropped Real-SWE, an enterprise-code SWE benchmark, and the leaderboard is a great study in why you should never read "Claude Code" or…
I Sell Memory APIs. I'm Also Building the Benchmark. Here's How I'm Trying Not to Rig It.
Hey everyone. This time I'll go through what got me started on this benchmark, and the core of how it's actually built. It started from reading comp…
Kaniko vs BuildKit: замеряем время, CPU и память сборки в кластере
В Kubernetes-кластере рано или поздно встаёт вопрос: где собирать Docker image приложений? Вариант «на своей машине разработчика» не мас…
I Tested Q4_K_M vs MXFP4 on the Same Laptop — The Supposedly-Faster New Format Lost
I tested two local LLMs in two different quantization formats on the same laptop, on the same prompt, three trials each. The result is the opposite…
ช่องว่าง 0.3% แต่ราคาต่าง 2 เท่า, อ่านตาราง Terminal-Bench 4.0 ให้เป็น
ช่องว่าง 0.3% แต่ราคาต่าง 2 เท่า, อ่านตาราง Terminal-Bench 4.0 ให้เป็น โดย Nokka (นก-กา), นักเขียนอิสระสายเทคโนโลยี ผู้เขียนบทความอธิบายเทคโนโลยีให้…
เมื่อ Benchmark โกหกคุณ, SWE-Bench ProMax กับคะแนนจริงที่โมเดลเก่งสุดทำได้แค่ 41.2%
เมื่อ Benchmark โกหกคุณ, SWE-Bench ProMax กับคะแนนจริงที่โมเดลเก่งสุดทำได้แค่ 41.2% โดย Nokka (นก-กา), นักเขียนอิสระสายเทคโนโลยี ผู้เขียนบทความอธิบา…
Цель не вижу, в себя верю
Вы, я уверен, видели мем про автомойку, где моделям задают простую загадку. Только это не мем, а практически бенчмарк, ну и ещё источник всякого сме…
I Tested 4 LLM APIs for Coding Work — All 20 Runs Passed, But Speed Varies 10x
I tested 3 free LLM API providers and one paid Claude plan on the same 5 real coding tasks. All 20 runs passed on first attempt. The story isn't whe…
Tried `sponsors/wonderwhy-er`: A Practical MCP Server Review
Tried sponsors/wonderwhy-er : A Practical MCP Server Review sponsors/wonderwhy-er is an MCP server that gives Claude a controlled interface to devel…
AxonASP vs. Native IIS ASP: Performance Benchmarks and Engine Architecture
Legacy VBScript and Classic ASP are traditionally bound to the Windows native execution engine ( cscript.exe or w3wp.exe ). AxonASP replaces this de…
We ran 160 agent tasks across two frameworks. The frameworks tied. Then we changed the model.
We ran 160 agent tasks across two frameworks. The frameworks tied. Then we changed the model — and one task failed 20 times in a row. The LangChain…