Форматы чисел: FP32, FP16, BF16 и FP8

Коротко: ИИ считает числами с плавающей точкой разной точности. Меньше бит — экономия памяти и времени вычислений, но появляются ошибки округления.

Подробнее: FP32 (32 бита) — классическая точность. FP16 и BF16 (16 бит) — стандарт для обучения и вывода. У BF16 диапазон значений как у FP32, но точность ниже, и он стабильнее при обучении. FP8 (8 бит) используют новые карты (Hopper, Ada, Blackwell) для ещё большей скорости.

Подробности

• Устройство: знак, порядок (диапазон значений), мантисса (точность). BF16: 8 бит порядка, 7 бит мантиссы. FP16: 5 бит порядка, 10 бит мантиссы.
• Тензорные ядра: специальные блоки видеокарты для матричной математики в FP16, BF16, FP8 и INT8.
• Целочисленные форматы: INT8 и INT4 ещё меньше и предназначены в основном для вывода.
• TFLOPS: мера вычислительной мощности. При генерации она важна меньше, чем пропускная способность; при обработке длинных промптов — очень важна.

См. также: Квантование, Prefill и decode