RU

Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Многие ML‑инженеры знают, что нужно использовать CrossEntropyLoss , log_softmax и logsumexp . Гораздо меньше людей могут объяснить, что имен…

численная стабильностьмашинное обучениенейронные сетиsoftmaxlogsumexpfloat32градиентыпереполнениеunderflowPyTorch
Habr
RU

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми …

autogradматематиканестандартный анализдуальные числаpytorchградиентыбесконечно малыедифференцированиеpythonмашинное обучение