RU

Что такое дифференциал первого и второго порядка (Продвинутый уровень)

Данная статья подойдет всем любителям математики, кто хочет проверить себя в понимании, казалось бы, элементарного определения. Читать далее

математический анализдифференциалматрица Гессеградиентпроизводная по направлениюматанализдифференцируемостьвысшая математикалинейный оператор
Habr
RU

Разбираемся в ML без воды: от базы до Attention. Часть 3

Во второй части мы рассмотрели аналитическое решение задачи линейной регрессии и наткнулись на ряд неприятностей — сингулярность, плохая обусловленн…

градиентградиентный спусклинейная регрессияпрактика
Habr
RU

Как связывание эмбеддингов душит трансформеры и уничтожает градиенты

Долгие годы в NLP считалось правилом хорошего тона связывать матрицу входных эмбеддингов с матрицей выходного классификатора (Weight Tying), чтобы с…

трансформерыllmградиентградиентный спускобучение нейронных сетейнейросеть