RU

Как искать живой спрос в шумных городских Telegram-чатах

Городские Telegram-чаты похожи на непрерывный поток логов без схемы. В одном сообщении человек ищет квартиру, в следующем агент публикует двадцатую…

TelegramпоискembeddingspgvectorNLPуведомленияклассификация намерений
Habr
RU

Почему голосовые ИИ‑агенты перебивают людей: замерил на боевом API и починил правилами русского синтаксиса

Все голосовые платформы решают, что человек договорил, по таймеру тишины. Я замерил, во что это выливается на живой русской…

голосовые агентыраспознавание речиendpointingturn detectionVADзадержка ответаRealtime APIсинтез речиNLPPython
Habr
RU

SayFable: офлайн-библиотека с NLP-разметкой, синтезом на 68 языков и чатом по книге

Привет, Хабр! В прошлых статьях я рассказывал про  локальный переводчик с синтезом голоса на кабардинском  и про то,  как собрать пол…

NLPRAGсинтез речиsileroсемантический поискэмбеддингиswiftразработка под iosискусственный интеллектмалоресурсные языки
Habr
RU

Что общего у Таро, Viterbi и LLM: как алгоритм выбирает один смысл из многих

Можно ли описать интерпретацию Таро как задачу поиска лучшего смыслового пути? Разбираю учебную вероятностную модель: от локального greedy к точному…

Viterbibeam searchцепи МарковаCRFLLMNLPпоиск путиТаро
Habr
RU

Domain-routed agents vs naive RAG: экономика и риски архитектурного выбора

Классический RAG хорошо ищет отдельные факты, но может пропускать исключения и связи между разными разделами документации. Я проверил альтернативный…

RAGLangGraphагентымультиагентные системыИИPythonархитектураNLPLLMllm-архитектура
Habr
RU

Как я собрал OmniBot: Discord Activity, локальный ruBERT и модерация без чёрного ящика

Когда я начал развивать Discord-сообщество, обычной команды /ban хватило совсем ненадолго. Роли настраивались в одном месте, приветствия — в другом,…

DiscordPythonFastAPIPostgreSQLruBERTNLPмодерацияDiscord Activityaiai moderation
Habr
RU

Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне

Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадк…

LLMRAGLLM-as-a-JudgeRAGTruthHallucination DetectionAI EvaluationГаллюцинации LLMГенеративный ИИNLPMachine Learning
Habr
RU

Библиография тоже умеет галлюцинировать: что изменилось после защиты диплома

После защиты диплома я доработала систему проверки библиографических источников: добавила OCR, кэширование, offline-режим, классификацию ошибок, вне…

библиографияпроверка источниковмашинное обучениеNLPOCRPDFDOICrossrefOpenAlexнаучные публикации
Habr
RU

Библиография тоже умеет галлюцинировать: что изменилось после защиты диплома

После защиты диплома я доработала систему проверки библиографических источников: добавила OCR, кэширование, offline-режим, классификацию ошибок, вне…

библиографияпроверка источниковмашинное обучениеNLPOCRPDFDOICrossrefOpenAlexнаучные публикации
Habr
RU

Почему я перестал слать каждый вопрос в LLM: архитектура предсказуемого конвейера

Очевидный путь для бота поддержки на LLM — слать в модель каждый вопрос вместе с куском базы знаний. На демо работает, в проде разваливается: галлюц…

ТехподдержкаLLMRAGчат-ботклассификация обращенийYandexGPTDeepSeekNLPFastAPI
Habr
RU

ContentCombine: как я сделал мультинишевый контент-комбайн и запустил ежедневный SEO-дайджест

Я сделал ContentCombine — мультинишевый контент-комбайн, который собирает материалы из RSS, Telegram, сайтов и других источников, нормализует их, сч…

ContentCombineконтент-комбайнагрегатор новостейData EngineeringNLPискусственный интеллектLLMPythonSEOавтоматизация контента
Habr
RU

Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM

Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в&n…

LLMprompt engineeringдетерминизмJavaоценка кодаобучение программированиюGemini APIprompt injectionpet projectNLP
Habr
RU

Когда нейросети заменят живых продавцов? Тест 10 LLM на умение продавать для русского рынка

Нам всё чаще заказывают ИИ-ботов для продаж и квалификации. И каждый раз один и тот же вопрос: на каком движке его строить? Бенчмарков «кто умнее» —…

LLMпродажибенчмаркиOpenRouterчат-ботыпереговорыNLPDeepSeekGeminiметодология
Habr
RU

# Морфоанализатор ингушского языка: как мы научили словарь понимать словоформы — и что изменилось за два месяца

В апреле я писал тут про PaydaDosh — открытый словарь и корпус ингушского языка. Та статья была про «вот, собрали всё в одном месте»: 66 тысяч стате…

ингушский языклингвистикасловарьмалые языкиморфологияморфоанализаторлексикографияомономиякорпус текстовNLP
Habr
RU

Обрести свой голос: сложность выбора TTS-архитектуры для ИИ-агента

Продолжение цикла о разработке собственного TTS-сервиса для targetai. В первой - о критериях оценки и методологии бенчмарка. Эта — о том, как мы при…

TTSсинтез речиголосовые ассистентыopen sourceF5-TTSXTTSCosyVoiceOmniVoiceNLP
Habr
RU

Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

Взяли автоэнкодер из свежей работы  CALM (Continuous Autoregressive Language Models) , который учится упаковывать чанк из K=4 токенов в один не…

CALMАвтоэнкодерМашинное обучениеГлубокое обучениеNLPLLMCPU
Habr
RU

Как мы голос для ИИ-ассистента выбирали или критерии оценки TTS-движков

Мы в targetai специализируемся на создании ИИ-ассистентов для клиентского сервиса. И голосовые агенты для нас — один из ключевых сценариев. В какой-…

TTSсинтез речиголосовые ассистентыИИ-ассистенттелефонияклиентский сервисNLP
Habr
RU

Одна строка — много объектов: как агрегировать эмбеддинги для ML-моделей

Иногда одна строка датасета соответствует не одному объекту, а целому набору связанных объектов: новостям, комментариям, изображениям или&…

машинное обучениеискусственный интеллектэмбеддингиагрегацияMILllmfeature engineeringpoolingattentionNLP
Habr
RU

Как мы боремся с галлюцинации AI Master: гибридный Guard на Embedding + LLM Extractor на примере AI-RPG «Стирая Грань»

Каждый, кто пробовал создавать текстовые RPG или симуляторы на базе LLM (будь то GPT-4, DeepSeek или локальная 70B), сталкивался с проблемой «Yes-An…

LLMgamedevNLPembeddingspythondeepseekгеймдизайнискусственный интеллектrpgархитектура
Habr
RU

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, с…

NLPLLMGRPOобучение с подкреплениемCUDA out of memoryvLLMоптимизация GPU памятидообучение моделейLoRAPyTorch
Habr
RU

Как я обучил GPT с нуля на русском языке — и что из этого получилось

Всё началось с наивной мысли: зачем платить за API или тащить 7B-модель, если мне нужна маленькая модель для простых разговоров на одном языке? Логи…

GPTLLMpretrainingраспределённое обучениеGoogle ColabRoPEGQASwiGLUNLPрусский язык
Habr
RU

SciGraph: как я учил ИИ читать научные статьи не только по словам, но и по связям

SciGraph показывает, почему GraphRAG для научных статей — это не только про графы и LLM, но и про честные метрики. В&n…

GraphRAGRAGLLMNLPграф знанийнаучные статьиизвлечение знанийцитированияоценка качестваF1-метрика
Habr
RU

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику

Когда мы говорим, что нейросети "понимают текст", легко забыть: компьютер изначально вообще не понимает слова. Для него текст – это набор чисел, ста…

phpmachinelearningbag-of-wordstf-idfBoWNLPобработка естественного языкаcosine similarityвекторизация текстамашинное обучение
Habr
RU

Основы парсинга сайтов: от HTML до готового датасета для NLP

Даже сильная NLP‑модель быстро упирается в банальную проблему: ей нужны данные, причём не абстрактные «готовые датасеты», а текс…

парсинг сайтовPythonHTMLBeautifulSouprequestsPlaywrightNLPдатасеточистка данныхязыковые модели