RU

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

TL;DR.  Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русских…

ragчанкингдистилляцияloraunslothтокенизацияllama.cppggufvulkanamd
Habr
RU

Что происходит внутри LLM, когда ты отправляешь сообщение

Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в см…

LLMтрансформернейросетитокенизацияattentionGPTмашинное обучениеэмбеддингигенерация текстакак работает ИИ
Habr
RU

Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на&nb…

llmтокенизациянейросетилокальный ииself-hostedкириллицаqwengigachatllamayandexgpt