RU

В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX

Когда мы выпустили  Auto Embeddings  — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельно…

onnxonnx runtimeonnxruntimeembeddingsэмбеддингиинференсвекторный поискvector search
Habr
RU

Как мы ускорили KNN-поиск в Manticore: двухпроходный обход HNSW, пакетная обработка и AVX-512

Кратко:  Три изменения в HNSW-поиске ускоряют KNN-поиск до 29% при больших k и дают более 20% прироста при параллельной нагрузке. Без изменений A…

knnknn-searchобработка больших данныхобработка больших массивов данныхhnswvector searchвекторный поискperformanceperformance optimizationпроизводительность
Habr
RU

Retrieval в 2026: как RAG переехал с энкодеров на LLM (и что с этим делать в своём проекте)

Если вы строили RAG в 2023, ваш стек выглядел плюс-минус одинаково. BERT-семейство (BGE, e5) для семантики, BM25 для буквальных совпадений, cross-enco…

RAGэмбеддингиembeddingsretrievalLLMQwen3Qdrantvector searchhard negativesLLM2Vec
Habr
RU

Почему RAG — это не просто «добавить поиск»: latency, качество и выбор стратегии retrieval

Когда говорят про RAG, его часто описывают как простой способ улучшить LLM‑систему: добавить поиск по внешним данным, найти релевантный…

RAGLLMretrievallatencyChromaOllamavector searchembeddingstop-kchunk size
Habr
RU

10 актуальных RAG-подходов: какие реально полезны и когда их применять?

Всем привет, на фоне обновлений в LLM-стеке за последний год, решил собрать практический список RAG-подходов, которые реально используются в продакшен…

ai-разработкаrag airag pipelineretrieval augmented generationllmllm-моделиvector searchhybrid searchgraphragmultimodal