RU

Сколько инструментов должно быть у MCP-сервера? Я измерила от 5 до 100 в Claude Code, Codex и Gemini

Почти все советы по проектированию MCP-серверов сводятся к одному: держите инструментов поменьше. Я проанализировала 91 источник. 38 из них советуют…

mcpmcp-servermcptoolsbenchmarkclaude codecodexantigravity
Habr
RU

Приниматоры решений: бенчмарк на русском для Jev-style моделей

Последние пару лет мы довольно странно используем большие языковые модели. Из-за их умения делать всё мы пытаемся решить с их помощью всё — роутинг…

jevfridadecision modelsLLMагентыбольшие языковые моделибенчмарктестированиеbenchmark
Habr
RU

Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале

Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…

ASRspeech to textdatasetrussianbenchmarktelephoneбенчмаркopensourceNLPискусственный интеллект
Habr
RU

Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале

Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…

ASRspeech to textdatasetrussianbenchmarktelephoneбенчмаркopensourceNLPискусственный интеллект
Habr
RU

Последний пеликан

Что-то много пеликанов на велосипеде начало появляться в ленте моего информационного пузыря в твиттер и я решил провести собственный эксперимент: GP…

qwengptpelicanbenchmark
Habr
RU

Как найти настоящую (его) гуся или задачу в уже работающем продукте: разбор EVRTCK после возвращения в EvertyDesk

Меня зовут Артур Валиев (Поможет в трудоустройстве). Я Rust-разработчик. Который пишет про врачей, любовь, смерть и кодеки. Некоторое время назад я…

RustEVRTCKEvertyDeskzstdZstandardсжатие данныхоптимизацияпрофилированиеbenchmarkremote desktop
Habr
RU

[Перевод] Как «быстрый» кольцевой буфер поднял загрузку CPU с 2% до 25%

Я заменил std::deque на boost::circular_buffer в надежде получить прирост производительности. В реальности получил загрузку процессора в 25% вместо…

c++boostperformanceаудиоraspberry pibenchmarkпроизводительностьбенчмарки
Habr
RU

Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb

Полгода назад я начал писать in-memory базу с векторным поиском на Go: RESP-протокол, HNSW-индекс, WAL, многопоточность. Рассказываю, что из этого в…

векторные базы данныхвекторный поискhnswgolanggoin-memorybenchmarkквантизацияrag
Habr
RU

Собрал ИИ-бенчмарк под себя из 2 месяцев своих сессий — и дорогие модели проиграли дешёвым

Два месяца своих сессий с ИИ скормил скрипту и собрал бенчмарк под СВОЮ работу — не под чужой лидерборд. Результат: тройка «лучших открытых моделей»…

llmbenchmarkllm-as-a-judgegemmaglmself-hosting
Habr
RU

Иллюзия 99% F1 в Time Series: как искажаются метрики в детекции аномалий и что показывает реальный тест 14 архитектур

Многие свежие SOTA-статьи по детекции аномалий во временных рядах заявляют F1 ≈ 99%. Мы проверили один из таких методов, и оказалось, что волшебство…

time seriesвременные рядыanomaly detectionпоиск аномалийpredictive maintenanceпредиктивная аналитикаbenchmarkтрансформерыграфовые нейросетиMVTS
Habr
RU

Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM

Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оператив…

локальные LLMopenai gpt-oss-20bGGUFMXFP4LM StudioRadeon 780MRyzenноутбук без дискретной видеокартыWindows 11benchmark
Habr
RU

Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения

Добро пожаловать на мой маленький тестовый полигон. В этой статье я расскажу, как столкнул лбами двадцать один алгоритм машинного обучения - от стар…

машинное+обучениенейросетиbenchmarkсравнение моделейlightgbmxgboostcatboostrandom forestисследование
Habr
RU

Я попробовал считать нейросетевой слой в конечном поле Галуа GF(137): 4x по памяти, ARM NEON и честные ограничения

Я проверил маленький нейросетевой слой в арифметике GF(137): не через квантизацию готовой float32-модели, а сразу в байтовом конечнополевом представ…

GF137конечные-поляпериферийный-инференсARM-NEONuint8benchmarkcppвоспроизводимость
Habr
RU

Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк

Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто…

mlaibenchmarkai-агентыai-agentswe-benchswe-bench verifiedOSWorldGAIAterminal-bench
Habr