От золотого сечения до троичности Брусенцова: одно семейство числовых форматов от 2 до 1024 бит
Почему bfloat16 стал стандартом для обучения нейросетей? Не потому, что он оптимален как число, — а потому что под него десять лет затачивали GPU и TP…
Tech news from the best sources
Почему bfloat16 стал стандартом для обучения нейросетей? Не потому, что он оптимален как число, — а потому что под него десять лет затачивали GPU и TP…