RU

Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Многие ML‑инженеры знают, что нужно использовать CrossEntropyLoss , log_softmax и logsumexp . Гораздо меньше людей могут объяснить, что имен…

численная стабильностьмашинное обучениенейронные сетиsoftmaxlogsumexpfloat32градиентыпереполнениеunderflowPyTorch
Habr
RU

Разбираемся в ML без воды: от базы до Attention. Часть 9: Дерево решений

В восьмой части мы завершили изучение SVM и разобрались с Kernel Trick. Теперь пришло время познакомиться с деревьями решений — одним из самых популяр…

дерево решениймашинное обучениеэнтропия шеннонаджинирегрессионное деревоpre-puringpost-puring
Habr
RU

AI для PHP-разработчиков. Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математику

Когда мы говорим, что нейросети "понимают текст", легко забыть: компьютер изначально вообще не понимает слова. Для него текст – это набор чисел, стати…

phpmachinelearningbag-of-wordstf-idfBoWNLPобработка естественного языкаcosine similarityвекторизация текстамашинное обучение
Habr
RU

Обратное распространение ошибки: от интуиции до кода

Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весо…

машинное обучениенейросетиbackpropagationобратное распространение ошибкиградиентный спускdeep learningpythonматематикавычислительные графыmicrograd
Habr
RU

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми …

autogradматематиканестандартный анализдуальные числаpytorchградиентыбесконечно малыедифференцированиеpythonмашинное обучение