ИИ‑мастер для настольной RPG: один запрос на ход, кубик до ответа и баг, который удваивал здоровье
Я делаю браузерную текстовую ролевую игру, где ведущим работает языковая модель. Игрок пишет любое действие своими словами, мастер отвечает рассказо…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Нейрослоп не пройдёт: отбор в первую Школу аналитиков hh
Мы получили больше 250 тестовых на 25 мест в первую Школу аналитиков hh. Многие решения были сделаны с нейросетью, и это нормально — аналитики в раб…
Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста
ИИ-агент купил мне авиабилет, накопил годовой запас кофе и попал в чёрный список ресторанов. Я дал ему банковскую карту, телефон, браузер и доступ к…
Все 179 ответов были SURE. Четыре из них не прошли тесты
Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке зар…
Регрессионное тестирование промптов: ИИ-модель в роли читателя пропустила три из четырёх текстов, которые я правил
Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным отв…
[Перевод] 600 миллиардов токенов спустя: как мы управляли ИИ-агентами при декомпиляции шутера
Три месяца ИИ-агенты декомпилировали популярный шутер от первого лица, а мы с ребятами из сообщества ими управляли. Нам нужно было не доказать, что…
«Ты senior Python-разработчик» сделал агента хуже: проверил 7 популярных приписок к промптам
Чаевые, «меня уволят», «ты senior Python-разработчик», «подумай как следует», ultrathink. Проверил народные приписки на кодинг-агенте: пять задач, с…
Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью
При проверке десяти статей Haiku совместила PASS и замечание major. Разобрали отчет по исходникам: что исправили, что отклонили и какого контекста н…
Нашёл и проверил 6 сервисов с бесплатным доступом к GPT-6, Claude и API: лимиты, бонусы и результаты тестов
Нашёл и проверил 6 сервисов с бесплатным доступом к GPT-6, Claude и другим ИИ-моделям. Среди них есть площадки с миллионами токенов ежедневно, беспл…
Мы научили агента писать тесты так, как их пишет наша команда
Привет! Я Артем Житко, iOS разработчик в Т-Банке. Каждому iOS-разработчику знакома ситуация: задача уже готова, кажется, что самое сложное уже позад…
Дешёвый прогноз, дорогая проверка: кто платит за страх перед ИИ
Постараюсь вкратце и по делу сугубо. Первое что сразу хочется сказать: спасибо автору!) За рамку: у кода есть цена написания и цена владения, и разъ…
Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM
После маскировки ФИО в тексте может остаться номер, по которому человека найдут в открытом реестре. На восьми искусственных примерах проверим остатк…
[Перевод] Где сломался AI-агент? Как отлаживать многоэтапные воркфлоу по шагам
Многоэтапный AI-агент может выдать убедительный ответ, хотя ошибка произошла ещё в начале расследования. Найти её по итоговому результату непросто.…
Приниматоры решений: бенчмарк на русском для Jev-style моделей
Последние пару лет мы довольно странно используем большие языковые модели. Из-за их умения делать всё мы пытаемся решить с их помощью всё — роутинг…
Jev от TypeSafe: модель, с которой нельзя поговорить
TypeSafe AI открыла ранний доступ к Jev — модели, которая не генерирует текст, а отвечает на заранее описанные вопросы типизированными значениями с…
Как мы запустили ИИ-ревьюера на 4000 PR в день — и какие баги он находит
Бывает так, что ревьюер посмотрел пул-реквест, тесты зелёные, компиляция прошла успешно, а в коде всё равно остался баг, который проявится только в…
Как я перестал верить нейросети и полюбил контрольные разряды: Zero-Trust для распознавания юридических документов
Покажите VLM скан исполнительного листа — и она уверенно вернёт реквизиты. Формат будет идеальным, тон — безупречным. Одна беда: среди реквизитов с…
как OpenAI, Anthropic, Google и xAI борются за модели, облака и разработчиков
OpenAI, Anthropic, Google и xAI уже конкурируют не только качеством моделей. Настоящая борьба идёт за вычислительные мощности, собственные чипы, при…
Механизмы внимания в современных LLM
Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse att…
Почему после успешного внедрения становится тяжелее, хотя ожидали, что станет легче
Уважаемые читатели, этой статьёй я завершаю свой цикл о взаимодействии бизнеса и ИТ. В ней рассказываю о внедрении, которое признали успешным, хотя…
Не ИИ заменит людей, а люди заменят ИИ. И это уже происходит
Если полистать вакансии на хедхантере или в линкедине, рано или поздно натыкаешься на объявления, где ищут человека с опытом от пяти лет, который ум…
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
Мейнстрим растит модели масштабом. Мы меряем ортогональное: можно ли растить компетентность маленькой модели без роста весов — через…
Какую LLM выбрать: собираем свой бенчмарк
Обычно, когда выбирают LLM, сначала смотрят рейтинги. Проблема рейтингов в том, что по ним не узнать, как модель справится с вашими задачами и…
Gemini 4 победила в бенчмарках. Почему это всё меньше говорит о качестве модели
Gemini 4 Argon вышел с таблицей, где он лидирует в 12 тестах из 18. Ровно такую таблицу Google показывала в феврале — для Gemini 3.1 Pro. Тот потом…
Безопасники против хакеров: симметрия инструментов и асимметрия скоростей
Специалисты по информационной безопасности и киберпреступники сегодня работают с одним и тем же набором AI-инструментов, но используют их по разные…
FAIRouter. Мы научили ИИ выбирать лучшую LLM модель для каждой задачи
Привет, Хабр! Мы выложили в открытый доступ библиотеку FAIRouter , которая выбирает LLM-исполнителя под задачу, а после ответа принимает у него рабо…
Как выбрать и проверить LLM для рабочих задач: Claude, GPT, Gemini и другие модели
Новая LLM обошла конкурентов в работе с кодом. Но справится ли она с ошибкой в вашем репозитории? А модель, которая хорошо анализирует документы, —…
Как мы описываем тысячи таблиц с помощью LLM
Привет, Хабр! Меня зовут Сергей Третьяков. Я product owner MWS Data Scout — сервиса, который описывает таблицы баз данных с помощью больших языковых…
Agent DevTools: локальная инфраструктура для ИИ-агента, которой достаточно только базового Python
Agent DevTools полностью бесплатен, устанавливается одной строкой и для своей работы требует только стандартной установки языка Python. Ему не…
Год назад мы обсуждали, смогут ли ИИ-агенты взламывать сайты. Теперь считаем инциденты
За несколько месяцев агенты OpenAI и Anthropic вышли за пределы тестовых сред, скомпрометировали инфраструктуру Hugging Face, получили доступ к prod…