RU

Почему ИИ ошибается и признает ошибку, только когда вы ее найдете? История одного экзамена

Не так давно я поступал в аспирантуру. Готовился по старинке: конспекты, книжки, пробные тесты. Но уже в самой аудитории заметил, как многие полезли…

llmгаллюцинацииобразованиеэкспериментclaude sonnetdeepseekchatgptвузыпромптыкритическое мышление
Habr
RU

Мой бот прислал мне репо-ловушку с 1774 звёздами. Разобрал 321 репо из трендов и собрал два фильтра

У меня есть Telegram-бот, который каждое утро присылает пять трендовых репозиториев GitHub с trendshift.io. Под каждым кнопка: нажал, и бот выдаёт в…

githubвредоносное ПОsupply chainpythonllmгаллюцинацииdeepseektelegram-бот
Habr
RU

Как я перестал верить нейросети и полюбил контрольные разряды: Zero-Trust для распознавания юридических документов

Покажите VLM скан исполнительного листа — и она уверенно вернёт реквизиты. Формат будет идеальным, тон — безупречным. Одна беда: среди реквизитов с…

LLMVLMгаллюцинацииверификацияOCRИННФССП1СZero-TrustPython
Habr
RU

Дешево, но не точно: разбираем контроллер доверия к памяти LLM-агентов

В 2024 году мэрия Нью-Йорка запустила чат-бота MyCity — цифрового помощника для владельцев малого бизнеса. Он должен был стать удобным справочником…

LLMRAGгаллюцинациипамять агентовагенты ИИинтерпретируемость ИИмашинное обучение
Habr
RU

Искусственный Интеллект манипулирует нашей памятью. И баг на нашей стороне

Созданные с помощью ИИ выводы о событиях, свидетелем которых вы были лично, порождают в сознании ложные воспоминания. Точность воспоминаний о событи…

искусственный интеллектобощенные выводысжатые отчетыпамятьгаллюцинации ИИгаллюцинацииложные убежденияизменчивая памятьперезапись памятикогнитивные искажения
Habr
RU

Модель предлагает, код решает: проверяемые бизнес-решения на Python с маленькими моделями

Если спросить языковую модель «одобрить возврат?», она вернёт ответ и вероятность. Правила, которое гарантированно выполнится, доказательства, котор…

solvipydanticModernBERTGLiNERтрассировкагаллюцинациигиперкомплексные_числа
Habr
RU

LLM уверенно называет шахматные ходы, которых на доске нет. Как я проверяю каждый ее ответ кодом

Движок знает ответ, но говорит числами. Модель говорит словами, но врет. Рассказываю, как проверяю каждый ход из ответа LLM кодом и почему просьба в…

llmгаллюцинациишахматыstockfish
Habr
RU

Как нейросеть переводит видео. Часть 1: Whisper врёт, и мы это знаем

Я один пишу сервис дубляжа видео с 2022 года, когда OpenAI выложил Whisper и мне показалось, что дело на месяц. В 2026-м через конвейер прошло 9 203…

whisperраспознавание речидиаризацияперевод видеодубляжгаллюцинацииspeech-to-textffmpegpipeline
Habr
RU

Отдал сайт ИИ-агентам: из 111 находок аудита 25 пошли в мусор, 4 оказались выдумкой

Мой сайт ведут ИИ-агенты. Они пишут код, правят тексты, проводят ревью, собирают и выкатывают. 207 коммитов. Я не буду рассказывать, как это ускорил…

езон код будущегоИИ-агентыcode reviewревью кодаCIвалидациягаллюцинацииNDAавтоматизациякачество кода
Habr
RU

Промпт — не контракт: замерил, как часто модель нарушает жёсткие правила, и вынес их в код

У меня в проде работает ИИ-консультант на сайте. У него есть два правила, которые нарушать нельзя вообще: не называть цены и не называть клиентов, к…

сезон код будущегоLLMпромптгаллюцинациирегулярные выражениякириллицаNDAвалидацияпродакшнчат-бот
Habr
RU

Апикальная гиперконтекстуализация. Почему мы можем чувствовать звуки на вкус и слышать звучание цвета?

Сам механизм открыт и описан в новом исследовании, и называется «апикальная гиперконтекстуализация». Он отвечает за то, как в нашем мозге возникает…

дендритынейронысеротонинсознаниегаллюцинацииприрода сознанияконтекстсвязинейронные связиработа мозга
Habr
RU

Правильный код мы отклоняем — и так задумано

Мой валидатор забраковал ответ, сославшись на несуществующую статью, — а ведь именно он поставлен ловить галлюцинации. После этого я собрал конвейер…

LLMгаллюцинациивалидацияllm-судьиpydanticконформное предсказаниеMAPIEragнадежностьпайплайн
Habr
RU

Жители Валдории живут 147 лет, а страна граничит с Германией и Японией одновременно. Исследование MiroFish. Часть 2

Вторая статья из трёх об исследовании MiroFish, открытого стека мультиагентной симуляции общества. В первой части изложены методология исследования…

MiroFishGraphRAGNeo4jLLMгаллюцинацииаудитвоспроизводимостьмультиагентные системы
Habr
RU

Как не дать ИИ‑психологу поддакивать и галлюцинировать. Инженерный разбор safety‑обвязки

Универсальная языковая модель отвечает складно, круглосуточно и почти бесплатно. Для домена, где на другом конце человек в уязвимом с…

LLMsafetyмультиагентные системыгаллюцинацииRLHFИИ-психологментальное здоровье
Habr
RU

Почему идеальная LLM всё равно не сделает агентные системы предсказуемыми

Представьте LLM, которая никогда не галлюцинирует, никогда не ошибается. На один и тот же запрос всегда выдаёт один и тот ж…

LLMмногоагентные системыхаосгаллюцинацииai-агенты
Habr
RU

AI‑тренер по CS2 на DeepSeek: где LLM выдумывает и почему семь недель стоили $1,45

Всем привет. Я много лет играю в Counter-Strike и тренируюсь, как большинство: захожу в Deathmatch «размяться», играю три катки, тильтую, выхожу. Се…

LLMDeepSeekгаллюцинациипет-проектASP.NET CoreSQLiteEntity FrameworkCounter-Strike 2
Habr
RU

Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах

Как на самом деле квантование ломает вызов инструментов? Собрал бенчмарк QuantMCP, протестировав модели на 4 ГБ VRAM не на синтетике, а на реальных…

квантованиеfunction-callingMCPLLMбенчмаркQuantMCPдеградациягаллюцинацииJSON-схемаMCP-серверы
Habr
RU

[Перевод] Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу

ИИ-агент может написать убедительный ответ и при этом вызвать не тот инструмент, потерять состояние между ходами или принять неверное решение с высо…

ии-агентagentic aiвалидация ИИLLMгаллюцинациииспользование инструментовмногошаговое рассуждениеотказоустойчивость
Habr
RU

Декодирование в LLM как эволюция стратегий

В этой статье мы проведем технический анализ эволюции стратегий декодирования, рассмотрим их внутреннюю механику и предложим критерии выбора оп…

LLMдекодированиегенерация текстастратегии декодированияGreedy SearchBeam SearchDoLaTop-p Samplingгаллюцинациисемантическая неопределённость
Habr
RU

Может ли софт помнить смысл экспертных решений?

Системы и так уже многое помнят. Они помнят действия пользователей, логи, тикеты, код, комментарии, трассировки, алерты и ответы моделей. Иногда они…

AIпамятьэкспертные решениязнаниеконтекстрекомендациидовериегаллюцинациисофтХабр
Habr
RU

[Перевод] Все демонические насельники ИИ… по старшинству

Гоблины, призраки, монстры, богини: фантастические твари и где они обитают. В конце апреля OpenAI  опубликовала у себя в блоге пост , в котором…

большие языковые моделиискусственный интеллектдемонологияЛоабНоваСиднишогготгаллюцинациинейронные сетисознание
Habr
RU

Когда чат-бот продаёт Chevrolet за доллар: как тестировать и мониторить LLM-приложения

Генеративные модели разблокировали огромное количество новых продуктов и новых фич в уже существующих. Поиграться с ними успел, кажется, каждый. И с…

LLMоценка качества LLMLLM-as-a-judgeтестирование LLMмониторинг LLMRAGгаллюцинацииdata driftregression testingEvidently
Habr
RU

[Перевод] Верификация программного обеспечения в эпоху искусственного интеллекта

Генеративный ИИ возродил давнее обещание: что нам больше не придётся писать программы — что достаточно будет лишь сформулировать, что требуется , а…

генеративный ИИбольшие языковые моделиверификация ПОпроектирование по контрактуEiffelAutoProofинженерия требованийгаллюцинацииформальные методы
Habr
RU

Системный промпт или галлюцинация: как я проверял AI-ассистентов и что ответили bug bounty-команды

В марте я проверял, можно ли уговорить AI-ассистентов выдать что-то похожее на системный промпт. Ответы выглядели убедительно: внутренние правила, т…

AI-ассистентысистемный промптгаллюцинацииbug bountyобход ограниченийуязвимостиинформационная безопасностьязыковые моделиАлисаGigaChat
Habr
RU

Оксфорд доказал: чем добрее ваш ИИ, тем чаще он вам врёт. И это не баг

Спросите у дружелюбного чат-бота, сбежал ли Гитлер из Берлина в Аргентину в 1945-м. Обычная модель поправит вас и скажет, что Гитлер покончил с собо…

ИИязыковые моделиподхалимствоsycophancyGPT-4oOxfordгаллюцинациибезопасность ИИдообучениеэтика ИИ
Habr
RU

256 зелёных тестов на нерабочем коде. Так выглядит «услужливый клерк» внутри нейросети

В прошлых статьях я писал про то, что нейросеть ускоряет конвейер, но не несёт ответственности. Что лояльность дирижёра — единственный мультипликато…

AIконтроль качестватестированиеИИ-агентыCTOAI NativeAnthropicгаллюцинациилояльностьдирижёр
Habr