Мой агент получил высокий балл. Проверяю, что он сделал
Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти за…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
linux
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Telegram Serverless против двух VPS: нужен ли теперь хостинг для бота?
Telegram разрешил запускать ботов и Mini Apps на своей инфраструктуре. Я проверил бесплатный ранний доступ на живом боте и сравнил его с двумя VPS.…
Проверяю выбор функций и значения аргументов в ELM
Если вы подключаете к чату настоящие инструменты, нужно проверить два случая: когда вызов следует выполнить и когда ни один инструмент не подходит.…
Машина БЭСМ-6 и оценка её производительности в эмуляторе
БЭСМ-6 часто называют «миллионником»: её быстродействие оценивают в миллион операций в секунду. Но какие операции имеются в виду (FLOPS, KIPS) и что…
Gemini 4 Argon: 10 вирусных примеров народного творчества в новой модели Google
Google открыл Gemini 4 Argon для разработчиков и подписчиков 13 октября 2026 года. Что с моделью уже показывают, видно по вирусному треду: в 10 прим…
Вышла Gemini 4 Argon: разбираем бенчмарки и карточку модели
13 октября Google начала публичную раскатку Gemini 4 Argon, анонсированной в конце сентября. Модель появилась в платном API, а в приложении Gemini е…
Зачем мы жжём сутки машинного времени, если лидерборд уже есть
Публичный лидерборд — это рейтинг моделей на одной дистанции: все решают одни и те же задачи, и видно, у кого процент продуктивно-эффективности выше…
Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена
Идея была простая и не новая: у большой языковой модели два неприятных свойства — она стоит денег на каждый ответ и держит в памяти десятки гигабайт…
Самый экзотический x86-процессор: изучаем и тестируем Vortex86 [История, схемотехника, тесты, бенчмарки]
Осторожно: это большая и развернутая статья о редком процессоре. Если вам интересен полный разбор характеристик, схемотехники референсной платы, бен…
Зачем быстрая реактивность за пределами DOM: ответы на вопросы и знакомство с Raph
Зачем ускорять реактивность, если всё упирается в DOM? Рассказываю об устройстве Raph/Nova и показываю, как одно ядро используется для DOM и Canvas.…
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑м…
sync.Pool теряет то, что вы хотели сохранить, и держит то, что хотели выбросить
sync.Pool легко принять за простой способ снизить аллокации: бенчмарк показывает ускорение, код уезжает в прод — а там пул внеза…
Claude Max против ChatGPT Pro: почему «в 5 раз выгоднее» — не совсем то, чем кажется
На днях SemiAnalysis опубликовали исследование с довольно убийственным для OpenAI выводом: подписка Claude якобы дает более чем в пять раз больше це…
Gemini 4 победила в бенчмарках. Почему это всё меньше говорит о качестве модели
Gemini 4 Argon вышел с таблицей, где он лидирует в 12 тестах из 18. Ровно такую таблицу Google показывала в феврале — для Gemini 3.1 Pro. Тот потом…
Grok 4.7, GPT-6 Astra, Claude и китайские модели, кто эффективнее?
Вчера SpaceXAI выложила Grok 4.7 . За три недели до этого OpenAI выпустила GPT-6 Astra , Anthropic — Claude Fable 5.1 . Ещё в&nb…
Бенчмарк Маракуйя ИИ на Terminal-Bench 4 и OSWorld 2
Всем привет! В прошлой статье я гонял Алису и Гигачат как чаты: Arena-Hard, WildBench, MultiChallenge, τ³, ПРАКТ-120. Там модель должнв была отвечат…
[Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
Jev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-…
Открываем AliceAI-Foundation-80B-A3B-Base — новую языковую модель Яндекса, обученную с нуля
Сегодня мы открываем веса нашей новой модели AliceAI‑Foundation-80B‑A3B‑Base под лицензией Apache 2.0. Модель прошла полный цикл обучения в Яндексе…
Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena‑Hard
Всем привет! Я обещал написать эту статью и я наконец‑то закончил тесты и готов поделиться с вами результатами. Я потратил МНОГО времени на&nbs…
SKILL.state в coding-агентах: меньше истории, но не всегда меньше работы
Кейс по мотивам исследования SKILL.state: немного инженерии контекста, бенчмарков и графиков. Эксперименты с памятью coding-агентов в OpenCode и Cod…
Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов
Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым а…
Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов
Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым а…
Локальный ассистент для зумов, часть 3: кто это говорит — и почему я трижды ошибся, отвечая на этот вопрос
Обещал в прошлой части честный замер локальных моделей распознавания — выполнял целый день, и результат вышел самым обидным: менять нечего. А три де…
Шаблоны против статической рефлексии в C++: пять операций, две реализации и дедупликация, которая не стоит памяти
Одна и та же операция — дедупликация списка типов — написана двумя способами: на шаблонах и на статической рефлексии из C++26. Обе реализации живут…
Вышла новая модель? Не смотри на бенчмарки, смотри на поисковик за её спиной
Пока СМИ спорят о лидерстве моделей в бенчмарках, бигтех перенаправляет бюджеты совсем в другую сторону. Бюджеты на обучение LLM худеют, на инфрастр…
Sheeternetes: первое нагрузочное тестирование и реальные бенчмарки против Kubernetes, Docker Swarm и Nomad
В одном чате по куберу меня спросили единственное, что реально важно, когда ты собрал оркестратор контейнеров внутри таблицы: а сколько оно вообще т…
Галлюцинации нейросетей. Как это устроено, откуда берётся и как с этим бороться. Часть 2
В предыдущей статье мы обсудили откуда берутся галлюцинации LLM и что может их спровоцировать. В этой поговорим о последствиях и методах борьбы. Чит…
Go 1.27 подменил движок encoding/json. Замерил три конфигурации и нашёл, где стало хуже
В Go 1.27 encoding/json стал тонким слоем поверх нового encoding/json/v2. Собрал тулчейн из исходников, прогнал один и тот же код в четырёх конфигур…
Галлюцинации нейросетей. Как это устроено, откуда берётся и как с этим бороться. Часть 1
Одна маленькая даже не ошибка, а скорее особенность нейросетей пока мешает им развиваться и внедряться в жизнь куда более бурными темпами, чем сейча…
Бенчмарки Мебиуса: зачем IBM учит ИИ проверять собственные вопросы
Для оценки эффективности ИИ уже давно и успешно используют самые разные бенчмарки. Берем модель/агента, выдаем им одинаковый набор задач, считаем до…