RU

Трансформеры и бизнес: где ИИ даёт эффект, а где сжигает бюджет

Короче, такая история. В моей практике бывало такое, что приходит команда и говорит: «хотим внедрить ИИ». А под этим она понимает что-то среднее между…

нейросетьязыковая модельтрансформерLLMвнедрение ИИавтоматизацияRAG
Habr
RU

За кулисами нейросетей: полный цикл тренировки языкового ИИ

Ты уже пользуешься языковыми моделями — спрашиваешь, генерируешь, отлаживаешь код. Но откуда берётся сама способность отвечать? Не «где хранятся данны…

LLMобучение нейросетейRLHFfine-tuningпредобучениетрансформерGPTязыковые моделимашинное обучениеИИ
Habr
RU

Что происходит внутри LLM, когда ты отправляешь сообщение

Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в см…

LLMтрансформернейросетитокенизацияattentionGPTмашинное обучениеэмбеддингигенерация текстакак работает ИИ
Habr
RU

Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию

Разбираем фундаментальную ошибку в обучении трансформеров: почему стандартный параметр weight_decay в оптимизаторе AdamW буквально уничтожает геометри…

нормализациятрансформероптимизатор adamllmpytorch