RU

Как мы за $2k собрали управляемую мировую модель на базе Wan 2.1

Всем привет! Мы два 19-летних студента второго курса из Казахстана. В свободное от учёбы время мы развиваем DreamForge — собственн…

world modelsмировые моделилораlorawanавторегрессионные моделиdreamforgeиигенеративные моделитрансформер
Habr
RU

Трансформеры и бизнес: где ИИ даёт эффект, а где сжигает бюджет

Короче, такая история. В моей практике бывало такое, что приходит команда и говорит: «хотим внедрить ИИ». А под этим она понимает что-то среднее между…

нейросетьязыковая модельтрансформерLLMвнедрение ИИавтоматизацияRAG
Habr
RU

За кулисами нейросетей: полный цикл тренировки языкового ИИ

Ты уже пользуешься языковыми моделями — спрашиваешь, генерируешь, отлаживаешь код. Но откуда берётся сама способность отвечать? Не «где хранятся данны…

LLMобучение нейросетейRLHFfine-tuningпредобучениетрансформерGPTязыковые моделимашинное обучениеИИ
Habr
RU

Что происходит внутри LLM, когда ты отправляешь сообщение

Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в см…

LLMтрансформернейросетитокенизацияattentionGPTмашинное обучениеэмбеддингигенерация текстакак работает ИИ
Habr
RU

Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию

Разбираем фундаментальную ошибку в обучении трансформеров: почему стандартный параметр weight_decay в оптимизаторе AdamW буквально уничтожает геометри…

нормализациятрансформероптимизатор adamllmpytorch