RU

Что такое контекстное окно и почему модели забывают

Ты час разговариваешь с ChatGPT. Даёшь контекст, объясняешь задачу, уточняешь детали. А потом модель вдруг начинает противоречить тому, что говорила р…

контекстное окноLLMтокеныпамять ИИChatGPTязыковые моделиlost in the middleRAGGPTконтекст
Habr
RU

П維чему нейро考ети дел思ют так

Если вы хоть раз тестировали локальную модель (да и нелокальную тоже) и замечали, как она посреди нормального текста вдруг выдает иероглиф, то заголов…

нейросетимашинное обучениеэмбеддингиgrokkingгроккингllmвекторное пространствоmechanistic interpretabilityтокеныselectel
Habr
RU

Свой биллинг для ИИ-агента: микрокредиты и контроль расходов

На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Сегодня разбираем, как написать биллинг для продакшн ИИ-агента. Когда ваш ИИ-бот начинае…

LLM-агентыбиллингLangChainContextVarии-агентытокенытрейсинг
Habr
RU

[Перевод] Создание MCP‑серверов на FastMCP: 7 ошибок, которых стоит избегать

FastMCP позволяет быстро собрать MCP‑сервер, но скорость легко оборачивается ошибками: лишние токены, слабые схемы, сырые API‑примитивы…

MCPFastMCPИИ-агентыLLMPythonAPIбезопасностьобработка ошибоктокеныпроектирование инструментов
Habr
RU

Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

32 tools в промпте - дешевле, чем 7. Да, да - если вы строите агентов, это не опечатка. Это следствие того, как работает prefix cache в агентском цикл…

llm-агентprefix cachingтокеныai-агентыaiprompt cachingprompt-engineeringcontext-engineering
Habr
RU

TokenToad: как я сделал Chrome-расширение, чтобы перестать удивляться счетам за AI

Расходы на AI API копятся незаметно: сессия Claude Code тут, batch к GPT-5 там — и к концу месяца биллинг удивляет. Собрал бесплатное Chrome-расширени…

chrome extensionai apiopenaianthropicclaudeрасходы apiтокеныбиллингpreactvite
Habr