RU

Mamba: архитектура, которая шла убивать трансформеры

В декабре 2023 по ML-тусовке прокатилась волна заголовков в духе «трансформерам конец». Поводом стала статья двух исследователей — Альберта Гу и Три…

MambaSSMтрансформерыattentionязыковые моделинейросетимашинное обучениеRNNгибридные моделиselectel
Habr
RU

Что происходит внутри LLM, когда ты отправляешь сообщение

Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в…

LLMтрансформернейросетитокенизацияattentionGPTмашинное обучениеэмбеддингигенерация текстакак работает ИИ
Habr
RU

Одна строка — много объектов: как агрегировать эмбеддинги для ML-моделей

Иногда одна строка датасета соответствует не одному объекту, а целому набору связанных объектов: новостям, комментариям, изображениям или&…

машинное обучениеискусственный интеллектэмбеддингиагрегацияMILllmfeature engineeringpoolingattentionNLP