RU

Хотел выбрать булочную по отзывам, а написал анализатор аномалий с embeddings и графами

После переезда я искал булочную на Яндекс Картах и наткнулся на отзыв, начинающийся с фразы «да вот хороший вариант ответа». Из этого вырос ReviewSc…

ReviewScopePythonанализ отзывовNLPembeddingsпоиск аномалийData MiningDuckDBStreamlitграфы
Habr
RU

Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале

Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…

ASRspeech to textdatasetrussianbenchmarktelephoneбенчмаркopensourceNLPискусственный интеллект
Habr
RU

Больше чем WER: RESON — открытый инструмент и датасет для оценки ASR в телефонном канале

Привет, Хабр! Меня зовут Александр Шевченко, я техлид команды ASR ML (направление ASR/TTS-платформы Audiogram ) в MWS AI. Мы занимаемся совершенство…

ASRspeech to textdatasetrussianbenchmarktelephoneбенчмаркopensourceNLPискусственный интеллект
Habr
RU

Что скрывают в себе меры расстояния: от kNN и k‑means до стилометрии

Представим, что kNN отнес новую точку к некоторому ближайшему классу. Все просто и знакомо. Однако привычная схема скрывает интересную нед…

машинное обучениеkNNk-meansкластеризацияметрики расстояниякосинусное расстояниеинтерпретируемостьстилометрияNLP
Habr
RU

От готовых реплик к контекстной памяти: как эволюционировали AI-чаты

В первой части статьи мы рассказывали об эволюции поисковых систем. Теперь перейдем к технологиям, благодаря которым AI-чаты получили свои нынешние…

чат-ботыбольшие языковые моделиNLPистория искусственного интеллектаELIZATransformerBERTChatGPTRAGRLHF
Habr
RU

Бенчмарк качества англо-русского перевода для ведущих западных и китайских LLM

Сто ловушек в одном рассказе, LLM-судья с ключом ответов и балл, который считает код. Так устроен бенчмарк художественного перевода, который теперь…

ruvds_статьипереводмашинный переводLLMбольшие языковые моделиоценка качествабенчмаркNLPхудожественный перевод
Habr
RU

Как я строю нейросимвольное извлечение условий из тендерных документов

Рабочее название прототипа: Tender Semantic Engine (TSE) Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не явл…

NLPLLMизвлечение информациисемантический анализонтологиинейро-символьные системытендерная документацияknowledge graphмашинное обучениеQwen
Habr
RU

[Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?

Jev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-…

jevtypesafeклассификация текстовLLMбенчмаркиNLPфильтрация данныхИИ-агентыоценка моделейоптимизация затрат
Habr
RU

Где счетный бейзлайн бьет трансформер: честное сравнение на русских отзывах

Когда нужно классифицировать текст, дефолтный ход в 2026 – взять предобученный трансформер и дообучить. TF-IDF воспринимается как музейный экспонат:…

NLPTF-IDFтрансформерыrubertклассификация текстаmacro-F1несбалансированные данныебейзлайнPyTorchэмбеддинги
Habr
RU

Полмиллиона словоформ для ингушского языка, у которого не было ни анализатора, ни корпуса

У ингушского глагола «деша» на нашей карточке 98 форм — от инфинитива до уступительного перфекта отрицательного , а всего по словарю их вышло полмил…

ингушский языкморфологияпарадигмыморфоанализатормалоресурсные языкилингвистикасловарькорпус текстовNLPSQLite
Habr
RU

Как искать живой спрос в шумных городских Telegram-чатах

Городские Telegram-чаты похожи на непрерывный поток логов без схемы. В одном сообщении человек ищет квартиру, в следующем агент публикует двадцатую…

TelegramпоискembeddingspgvectorNLPуведомленияклассификация намерений
Habr
RU

Почему голосовые ИИ‑агенты перебивают людей: замерил на боевом API и починил правилами русского синтаксиса

Все голосовые платформы решают, что человек договорил, по таймеру тишины. Я замерил, во что это выливается на живой русской…

голосовые агентыраспознавание речиendpointingturn detectionVADзадержка ответаRealtime APIсинтез речиNLPPython
Habr
RU

SayFable: офлайн-библиотека с NLP-разметкой, синтезом на 68 языков и чатом по книге

Привет, Хабр! В прошлых статьях я рассказывал про  локальный переводчик с синтезом голоса на кабардинском  и про то,  как собрать пол…

NLPRAGсинтез речиsileroсемантический поискэмбеддингиswiftразработка под iosискусственный интеллектмалоресурсные языки
Habr
RU

Что общего у Таро, Viterbi и LLM: как алгоритм выбирает один смысл из многих

Можно ли описать интерпретацию Таро как задачу поиска лучшего смыслового пути? Разбираю учебную вероятностную модель: от локального greedy к точному…

Viterbibeam searchцепи МарковаCRFLLMNLPпоиск путиТаро
Habr
RU

Domain-routed agents vs naive RAG: экономика и риски архитектурного выбора

Классический RAG хорошо ищет отдельные факты, но может пропускать исключения и связи между разными разделами документации. Я проверил альтернативный…

RAGLangGraphагентымультиагентные системыИИPythonархитектураNLPLLMllm-архитектура
Habr
RU

Как я собрал OmniBot: Discord Activity, локальный ruBERT и модерация без чёрного ящика

Когда я начал развивать Discord-сообщество, обычной команды /ban хватило совсем ненадолго. Роли настраивались в одном месте, приветствия — в другом,…

DiscordPythonFastAPIPostgreSQLruBERTNLPмодерацияDiscord Activityaiai moderation
Habr
RU

Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне

Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадк…

LLMRAGLLM-as-a-JudgeRAGTruthHallucination DetectionAI EvaluationГаллюцинации LLMГенеративный ИИNLPMachine Learning
Habr
RU

Библиография тоже умеет галлюцинировать: что изменилось после защиты диплома

После защиты диплома я доработала систему проверки библиографических источников: добавила OCR, кэширование, offline-режим, классификацию ошибок, вне…

библиографияпроверка источниковмашинное обучениеNLPOCRPDFDOICrossrefOpenAlexнаучные публикации
Habr
RU

Библиография тоже умеет галлюцинировать: что изменилось после защиты диплома

После защиты диплома я доработала систему проверки библиографических источников: добавила OCR, кэширование, offline-режим, классификацию ошибок, вне…

библиографияпроверка источниковмашинное обучениеNLPOCRPDFDOICrossrefOpenAlexнаучные публикации
Habr
RU

Почему я перестал слать каждый вопрос в LLM: архитектура предсказуемого конвейера

Очевидный путь для бота поддержки на LLM — слать в модель каждый вопрос вместе с куском базы знаний. На демо работает, в проде разваливается: галлюц…

ТехподдержкаLLMRAGчат-ботклассификация обращенийYandexGPTDeepSeekNLPFastAPI
Habr
RU

ContentCombine: как я сделал мультинишевый контент-комбайн и запустил ежедневный SEO-дайджест

Я сделал ContentCombine — мультинишевый контент-комбайн, который собирает материалы из RSS, Telegram, сайтов и других источников, нормализует их, сч…

ContentCombineконтент-комбайнагрегатор новостейData EngineeringNLPискусственный интеллектLLMPythonSEOавтоматизация контента
Habr
RU

Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM

Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в&n…

LLMprompt engineeringдетерминизмJavaоценка кодаобучение программированиюGemini APIprompt injectionpet projectNLP
Habr
RU

Когда нейросети заменят живых продавцов? Тест 10 LLM на умение продавать для русского рынка

Нам всё чаще заказывают ИИ-ботов для продаж и квалификации. И каждый раз один и тот же вопрос: на каком движке его строить? Бенчмарков «кто умнее» —…

LLMпродажибенчмаркиOpenRouterчат-ботыпереговорыNLPDeepSeekGeminiметодология
Habr
RU

# Морфоанализатор ингушского языка: как мы научили словарь понимать словоформы — и что изменилось за два месяца

В апреле я писал тут про PaydaDosh — открытый словарь и корпус ингушского языка. Та статья была про «вот, собрали всё в одном месте»: 66 тысяч стате…

ингушский языклингвистикасловарьмалые языкиморфологияморфоанализаторлексикографияомономиякорпус текстовNLP
Habr
RU

Обрести свой голос: сложность выбора TTS-архитектуры для ИИ-агента

Продолжение цикла о разработке собственного TTS-сервиса для targetai. В первой - о критериях оценки и методологии бенчмарка. Эта — о том, как мы при…

TTSсинтез речиголосовые ассистентыopen sourceF5-TTSXTTSCosyVoiceOmniVoiceNLP
Habr
RU

Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

Взяли автоэнкодер из свежей работы  CALM (Continuous Autoregressive Language Models) , который учится упаковывать чанк из K=4 токенов в один не…

CALMАвтоэнкодерМашинное обучениеГлубокое обучениеNLPLLMCPU
Habr
RU

Как мы голос для ИИ-ассистента выбирали или критерии оценки TTS-движков

Мы в targetai специализируемся на создании ИИ-ассистентов для клиентского сервиса. И голосовые агенты для нас — один из ключевых сценариев. В какой-…

TTSсинтез речиголосовые ассистентыИИ-ассистенттелефонияклиентский сервисNLP
Habr
RU

Одна строка — много объектов: как агрегировать эмбеддинги для ML-моделей

Иногда одна строка датасета соответствует не одному объекту, а целому набору связанных объектов: новостям, комментариям, изображениям или&…

машинное обучениеискусственный интеллектэмбеддингиагрегацияMILllmfeature engineeringpoolingattentionNLP
Habr