RU

Contextual Retrieval: техника, которая чинит главную проблему RAG за 50 центов на тысячу чанков

Классический RAG часто ошибается не из‑за слабой embedding‑модели, а потому что чанки теряют связь с исходным документом. Разбирае…

RAGContextual RetrievalLLMembeddingsBM25rerankingчанкивекторный поискбаза знанийкорпоративный ИИ
Habr
RU

Сжатие декодерных эмбеддеров: как ужать 8B до продакшена без потери recall

Декодерный эмбеддер 7–8B дает качество, но платит за него памятью, latency и деньгами. Разбираем все оси сжатия - int8, int4, binary + rescoring, PQ, …

сжатие эмбеддинговквантизацияэмбеддингиembeddingsRAGQdrantQwen3binary quantizationMatryoshkaretrieval
Habr
RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельно…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search
Habr
RU

Как выбрать эмбеддинг для проекта

Эмбеддинги (иначе говоря, векторные представления) — это способ представления абстрактных данных в виде набора чисел (в виде векторов, как вы могли уж…

aiэмбеддингикак выбрать эмбединггайд на эмбедингembeddingsLLMdocumentationdocument-oriented databasesкак подключить embeddingвекторная база данных
Habr
RU

Где заканчивается вызов LLM и начинается backend система: локальный RAG на FastAPI и Ollama

Хотел разобраться где заканчивается простой вызов локальной LLM и начинается backend система. Сначала всё выглядело просто: frontend отправляет вопрос…

ragllmfastapiollamapythonbackendembeddingsvector storerequest_idлокальная llm
Habr
RU

Retrieval в 2026: как RAG переехал с энкодеров на LLM (и что с этим делать в своём проекте)

Если вы строили RAG в 2023, ваш стек выглядел плюс-минус одинаково. BERT-семейство (BGE, e5) для семантики, BM25 для буквальных совпадений, cross-enco…

RAGэмбеддингиembeddingsretrievalLLMQwen3Qdrantvector searchhard negativesLLM2Vec
Habr
RU

Как мы боремся с галлюцинации AI Master: гибридный Guard на Embedding + LLM Extractor на примере AI-RPG «Стирая Грань»

Каждый, кто пробовал создавать текстовые RPG или симуляторы на базе LLM (будь то GPT-4, DeepSeek или локальная 70B), сталкивался с проблемой «Yes-And»…

LLMgamedevNLPembeddingspythondeepseekгеймдизайнискусственный интеллектrpgархитектура
Habr
RU

Раннее завершение KNN-поиска в Manticore Search

Современные поисковые системы уже не просто сопоставляют ключевые слова. Когда вы ищете «уютный детектив, действие которого происходит в Париже», а по…

knnknn-searchвекторный поисксемантический поискhnswembeddingsoversamplingполнотекстовый поиск
Habr
RU

Как заставить ИИ играть по правилам ролевой системы: архитектура авторитарного бэкенда для AI RPG

Сделать текстовую игру на базе LLM легко, если вас устраивает бесконечный неконтролируемый чат, который ломается через 30 ходов из-за модельного дрейф…

pythonfastapipgvectorflutterискусственный интеллектragdeepseekembeddingsdndразработка игр
Habr
RU

Почему RAG — это не просто «добавить поиск»: latency, качество и выбор стратегии retrieval

Когда говорят про RAG, его часто описывают как простой способ улучшить LLM‑систему: добавить поиск по внешним данным, найти релевантный…

RAGLLMretrievallatencyChromaOllamavector searchembeddingstop-kchunk size
Habr
RU

Почему RAG — фундамент любой AI-трансформации

За последние годы большинство AI-проектов в компаниях стартуют одинаково: сначала делают чат-бота, затем добавляют агентов, автоматизируют отдельные п…

ragискусственный интеллектllmretrieval augmented generationвекторная база данныхembeddingsкорпоративные данныеai automationknowledge basehallucinations
Habr
RU

Хакатон Samsung IT Academy Hack 2026: как студенты оптимизировали поиск в корпоративном мессенджере

Поиск — штука настолько привычная, что её редко рассматривают как отдельную инженерную задачу. На деле это связка из четырёх частей: парсинг и нормали…

хакатонпоискинформационный поискelasticsearchqdrantembeddingsвекторный поискранжированиеvk workspacevk tech
Habr
RU

Notion + RAG + Telegram: архитектура AI-копирайтера для сети ресторанов

В таком сценарии копирайтеру недостаточно просто писать тексты. Ему нужно помнить факты о каждом заведении: часы работы, фирменные блюда, формат кухни…

llmragавтоматизацияtelegram-ботгенерация контентаnotion aiembeddingsвекторная база данныхprompt engineering
Habr
RU

Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine

Поговорим о том, как превращать последовательности пользовательских событий в векторы, зачем обучать BERT на "языке" клиентского поведения и почему em…

машинное обучениеанализ данныхbertdeep learningmachine learningembeddingstransformers
Habr
RU

Бенчмарк 7 эмбеддингов и 4 реранкеров на корпусе судебной практики

Привет, Хабр. Это мой первый пост здесь, поэтому пара слов о себе. Я практикующий юрист, 8+ лет практики, последние годы - в производственном секторе.…

RAGembeddingsэмбеддингиреранкерrerankernDCGинформационный поискюридический ИИUSER2-baseбенчмарк