Может ли плохая модель победить хорошую? Как Data Leakage обманывает метрики
Представим обычную ситуацию: мы обучили несколько моделей, сравнили их на тестовой выборке и получили довольно странный результат. Простейшее дерево…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Звезды Telegram: где купить, сколько стоят и как все работает
Хотел купить звезды Telegram подешевле - в итоге разобрался, как самому их продавать. Открыл поиск, а там звёздами торгуют все подряд. Даже МТС. Пок…
Все 179 ответов были SURE. Четыре из них не прошли тесты
Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке зар…
Регрессионное тестирование промптов: ИИ-модель в роли читателя пропустила три из четырёх текстов, которые я правил
Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным отв…
Конвертер DOCX -> FB2
Как говорится, если не можешь найти необходимую приблуду, возьми напильник, изоленту, молоток и выпили себе что хочешь. А в наш просвещенный век сам…
Что отвалится у вашего сайта, если завтра отключат иностранные сервисы. Проверил 50 сайтов
Мне стало интересно, насколько российские сайты в 2026 году ещё зависят от зарубежных сервисов. Не в смысле «пользуется ли…
Как я перестал верить нейросети и полюбил контрольные разряды: Zero-Trust для распознавания юридических документов
Покажите VLM скан исполнительного листа — и она уверенно вернёт реквизиты. Формат будет идеальным, тон — безупречным. Одна беда: среди реквизитов с…
Три CLI‑агента, один Telegram‑интерфейс: JSON‑RPC, ACP, worktree и контроль разрешений
Codex CLI, Claude Code и Cursor Agent умеют самостоятельно читать код, изменять файлы и запускать тесты. Но стоит отойти от компьютера&nbs…
Сканер 152-ФЗ выписал нарушения Госуслугам, РЖД и Т‑Банку. Разбираем как так вышло
Ошибка линтера стоит пяти минут. Ошибка сканера, который проверяет сайты на соответствие 152-ФЗ, выглядит иначе: «ваш сайт нарушает закон»…
Agent DevTools: локальная инфраструктура для ИИ-агента, которой достаточно только базового Python
Agent DevTools полностью бесплатен, устанавливается одной строкой и для своей работы требует только стандартной установки языка Python. Ему не…
Одна раскладка на все игры: как я обошёл ограничение Steam Deck и нашёл контроллер номер 15
На Steam Deck нельзя взять раскладку управления из одной игры и поставить её в другую: настроил удобное управление в одной визуальной новелле, откры…
SRX: восстановить нужный фрагмент и проверить его
Что происходит, когда AI‑системе нужно не просто «вспомнить» факт, а показать, какой именно исторический источник его подтверждает? В…
Jev и обычные LLM: сравниваем качество, скорость и стоимость
Сравнил Jev и обычные LLM на трёх задачах: определение спама, выбор категории комментария и оценка негатива. Проверил качество ответов, скорость и с…
Агент пишет быстрее, команда релизит медленнее: 30 дней с coding agent на реальном проекте
Первые несколько дней с AI агентом легко создают ощущение, что разработку наконец-то «сломали». Даёшь задачу, через несколько минут получаешь diff н…
Нужна ли умная модель для рутины? Дал четырём моделям пять одинаковых задач и сравнил
На этой неделе на Хабре спорили, нужны ли программисту самые умные модели или для рутины хватит дешёвых. Триста комментариев и ни одного замера на о…
Как писать моки, чтобы тесты падали вместе с продом: 7 частых ошибок
Зелёные тесты не всегда означают, что код защищён от ошибок. Моки могут скрывать проблемы: принимать неверные вызовы, не замечат…
Когда антибот притворяется РКН: ложные заглушки и локальный Web UI в rkn-block-checker 0.6.0
В прошлой статье я рассказывал о базовой концепции rkn-block-checker - маленькой CLI-утилиты, которая пытается не просто сказать “сайт не открываетс…
CPython Officially Adds RISC-V Support As a Tier 3 Platform
The Python core development team has officially recognized RISC-V as a Tier 3 platform in CPython, following extensive community collaboration on it…
Прыжок в бесконечность: как под капотом работает RBF SVM
Всех приветствую! Меня зовут Андрей, я студент 4 курса факультета математики и компьютерных наук, автор телеграм-канала Andre | Data Science . Все м…
Сколько ваших проверок хоть раз возвращали False?
Я делаю систему, которая собирает черновики производственных инструкций. В ней есть детектор опасных формулировок — и он исправно срабатывал на фраз…
Неделя после Хабра: почта человека нашлась в его же коммитах, а мой скоринг раздавал 50 очков даром
Шесть дней назад я рассказал здесь про resume2human — программу, которая из резюме делает список вакансий и по каждой находит 1–3 живых человека с и…
Сервис, который пишет мне парсеры по ТЗ. Начиналось как тест на выходные
Мне нужно было подключать поставщиков к своим сервисам: сходить на сайт или в API, забрать каталог, разложить по колонкам. Работа одинаковая, но каж…
Картинка загрузилась, но API вернул images: [] — ловушка relationship в SQLAlchemy
Это моя вторая статья. После первой я посмотрел на статистику и понял простую вещь: начинать издалека и пытаться рассказать сразу обо всём — плохая…
Написал детектор ИИ-текста на 13 правил и прогнал 59 своих статей: сумма баллов не забраковала ни одну
Площадки перестали пускать машинный текст самотёком. Habr проверяет публикации автоматически, а Кевин Индиг пишет о том, что платформы строят anti-s…
Задача в проекте оказалась обработана за 11 секунд до создания…
После прошлого поста я вдохновился на продолжение, помимо того, что я изначально хотел его доработать, я также увидел, что количество людей увидевши…
«Завтра в 18:00» — это когда? Разбираем даты и часовые пояса в Python
Фраза «завтра в 18:00» кажется простой, пока сервер и пользователь не оказываются по разные стороны полуночи. В Doday я сделал быстрое добавление за…
ML‑датасет для Data Scientist: практический гайд по проверке качества данных перед обучением модели
Даже хороший алгоритм не спасёт модель, если признаки приходят с нарушенной семантикой или содержат информацию из будущего. Одна…
Как я собрал анализатор прочтений для Author.Today: Selenium → MS SQL → воронка
1. Зачем это нужно Моя боль как автора (а я не только программист и к. т. н, но еще и писатель в жанре фантастики) – это отсутствие на сайте автор.т…
Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах
Токен, прочитанный из кеша, стоит не «немного дешевле». Он дешевле в 10–31 раз : DeepSeek — $0.44 против $0.014 за миллион, OpenAI — $4.00 против $0…
README врёт: как я сделал open‑source линтер, который сверяет документацию с реальным репозиторием
README редко ломается в один момент. Обычно он просто постепенно перестаёт соответствовать проекту: переименовали команду, перенесли файл, удал…