RU

Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте

При обучении графных нейросетей и гигантских эмбеддингов на миллионы узлов стандартный torch.optim.SparseAdam в PyTorch моментально забивает RAM и V…

PyTorchMachine LearningOpen SourcePythonGNNOOMSparseAdamОптимизация памятиDisk Sparse AdamГлубокое обучение
Habr
RU

Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Многие ML‑инженеры знают, что нужно использовать CrossEntropyLoss , log_softmax и logsumexp . Гораздо меньше людей могут объяснить, что им…

численная стабильностьмашинное обучениенейронные сетиsoftmaxlogsumexpfloat32градиентыпереполнениеunderflowPyTorch