Почему JSON Schema не делает ответ LLM надёжным
Structured output решает одну из самых раздражающих проблем LLM-интеграций: модель наконец стабильно возвращает данные в ожидаемом формате. Но валид…
Programming
⚑ Report a ProblemLatest Programming news from Tech News
All topics
AI
agents
ai
api
architecture
automation
backend
beginners
career
database
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
rust
security
showdev
testing
tutorial
typescript
webdev
TypeSafe Jev Played Chess — And Landed Next to Reasoning Models
TypeSafe's Jev is an odd one. It isn't a chat model - you send a state plus typed questions (Choice / Score / Noul) and get labels with probabilitie…
Кредитный радар: LLM-воркфлоу, который каждое утро читает условия 12 банков и сам проверяет свои числа
TL;DR. Собрал воркфлоу на языковой модели, который раз в сутки обходит 34 страницы условий у 12 российских банков, сравнивает их со вчерашним снимко…
One pass of my eval bills $9.14 on the API and $0 through the CLI
One pass of my board eval bills $9.14 on the Anthropic API. Through Claude Code it bills $0. Same model, claude-opus-4-8. That is 27 calls, and it i…
How to Build AI Evals for Tool-Calling Agents
Every other week it feels like a new model shows up with a shiny score on some "trust me bro" benchmark. The numbers climb, people call it smarter,…
I have been Vibecoding Evals (works better than I thought)
I’ve been building AI apps with coding agents for a while. Lately, I’ve been experimenting with evals too. The app in this example mostly worked. Th…
How to Add Evals to an LLM Feature
Learning how to add evals to an LLM feature is the difference between shipping a demo and shipping a reliable product. When you embed an LLM into a…
[Перевод] Внутри Claude нашли сознание у моделей. J-пространство в LLM
Привет, Хабр. 6 июля 2026 года Anthropic опубликовала исследование Verbalizable Representations Form a Global Workspace in Language Models . Р…
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу – данные примерно 1200 комп…
Что перестаёт работать в тестировании, когда приходит LLM
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз&…
AI Evals, Part 5: From a Number to a Gate Evals in CI and Production
Part 5, the finale, of a series on building production AI on .NET. We've built the pieces — what evals are , error analysis , golden datasets , and…
AI Evals, Part 4: LLM-as-Judge, Done Right
Part 4 of a series on building production AI on .NET. We've covered what evals are , error analysis , and golden datasets . Now: how do you turn a p…
AI Evals, Part 3: Golden Datasets That Dont Lie
Part 3 of a series on building production AI on .NET. Part 1 was the overview; Part 2 was error analysis. Now we turn the failure taxonomy you built…
AI Evals, Part 2: Error Analysis The Unglamorous Superpower Behind Good Evals
Part 2 of a series on building production AI on .NET. Part 1 covered what evals are and the Analyze → Measure → Improve lifecycle. This post is abou…
AI Evals: Почему без оценки качества ваш продукт стоит на месте
Вы меняете системный промпт, надеетесь, что все заработало и деплоите фичу в продакшен. На следующее утро прилетает жалоба: агент выдумал дедлайн ил…
If You Can Survive a Toddler, You Can Ship LLMs in Production
A few years back I was running a time-series pipeline that scored incoming product reviews on a 1-10 scale. The scorer was an LLM. Reviews rolled in…