RU

Линейка для чисел: как я собрал каталог из 83 форматов с плавающей точкой — и почему он всё время «не сходится»

Любой, кто дебажил несовпадение точности между двумя реализациями нейросети, знает это чувство: один и тот же matmul на двух устройствах даёт разный р…

числовые форматыfloating pointGoldenFloatbfloat16FP8P3109RTLквантизациямашинное обучениечисла с плавающей точкой
Habr
RU

От золотого сечения до троичности Брусенцова: одно семейство числовых форматов от 2 до 1024 бит

Почему bfloat16 стал стандартом для обучения нейросетей? Не потому, что он оптимален как число, — а потому что под него десять лет затачивали GPU и TP…

oldenFloatзолотое сечениечисла с плавающей точкойGF16bfloat16троичностьСетуньБрусенцовBitNetFPGA