RU

[Перевод] Что спрятано в 2500 слоях: как по весам нейросети восстановили MD5

Что делать, если нейросеть из 2500 слоёв выглядит как чёрный ящик, а привычные методы анализа не помогают? В статье ра…

нейросетимеханистическая интерпретируемостьинтерпретируемость моделейреверс-инжинирингMD5хеш-функцииPyTorchSAT-решательлинейное программированиевеса нейросети
Habr
RU

PVAD: как научить ИИ слышать нужного человека в шумной комнате

Представьте переговорную, где одновременно говорят несколько человек, а системе нужно понять, когда говорит целевой спикер, и выделить именно его го…

машинное обучениевыделение голосашумоподавлениеDemucsx-vectorResNetPyTorchTensorFlowLibriSpeechVoxCeleb2
Habr
RU

Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте

При обучении графных нейросетей и гигантских эмбеддингов на миллионы узлов стандартный torch.optim.SparseAdam в PyTorch моментально забивает RAM и V…

PyTorchMachine LearningOpen SourcePythonGNNOOMSparseAdamОптимизация памятиDisk Sparse AdamГлубокое обучение
Habr
RU

Python: как один из самых медленных языков стал королем нейросетей

Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а не…

PythonCPythonмашинное обучениенейросетиPyTorchTensorFlowc++CUDAautograddeep learning
Habr
RU

Перенёс ByteTrack на GPU и ускорил мульти-камерный трекинг в 6 раз

GPU-версия ByteTrack, где математика всех камер считается общими батчами: один вызов на все потоки вместо трекера-на-камеру. На 16 потоках это ускор…

ByteTrackтрекинг объектовmulti-object trackingGPUPyTorchReIDкомпьютерное зрениеоптимизация производительностиCUDAвидеоаналитика
Habr
RU

Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Многие ML‑инженеры знают, что нужно использовать CrossEntropyLoss , log_softmax и logsumexp . Гораздо меньше людей могут объяснить, что им…

численная стабильностьмашинное обучениенейронные сетиsoftmaxlogsumexpfloat32градиентыпереполнениеunderflowPyTorch
Habr
RU

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, с…

NLPLLMGRPOобучение с подкреплениемCUDA out of memoryvLLMоптимизация GPU памятидообучение моделейLoRAPyTorch