Формати чисел: FP32, FP16, BF16 і FP8

Коротко: ШІ рахує числами з плаваючою комою різної точності. Менше бітів — економія пам’яті та часу обчислень, але з’являються похибки округлення.

Докладніше: FP32 (32 біти) — класична точність. FP16 і BF16 (16 біт) — стандарт для навчання та виведення. У BF16 діапазон значень як у FP32, але точність нижча, і він стабільніший під час навчання. FP8 (8 біт) використовують нові карти (Hopper, Ada, Blackwell) для ще більшої швидкості.

Подробиці

• Будова: знак, порядок (діапазон значень), мантиса (точність). BF16: 8 біт порядку, 7 біт мантиси. FP16: 5 біт порядку, 10 біт мантиси.
• Тензорні ядра: спеціальні блоки відеокарти для матричної математики у FP16, BF16, FP8 та INT8.
• Цілочисельні формати: INT8 та INT4 ще менші й призначені переважно для виведення.
• TFLOPS: міра обчислювальної потужності. Під час генерації вона важить менше за пропускну здатність; під час обробки довгих промптів — дуже важить.

Див. також: Квантування, Prefill і decode