Пропускна здатність пам’яті

Коротко: Пропускна здатність пам’яті показує, скільки гігабайтів за секунду можна передати між пам’яттю та процесором.

Докладніше: Це вирішальна величина для швидкості мовних моделей. У відеокарт сотні–тисячі ГБ/с (GDDR6X, HBM), тоді як у звичайної пам’яті ПК лише близько 50–100 ГБ/с. Чипи Apple з уніфікованою пам’яттю лежать посередині (100–800 ГБ/с).

Наш контекст: У калькуляторі швидкості ШІ для кожної відеокарти, процесора та чипа Apple вказана пропускна здатність. Вона визначає, скільки токенів за секунду можливо.

Подробиці

• Розрахунок: ширина шини в бітах ÷ 8 × швидкість передавання даних пам’яті. У 384-бітної карти з 21 Гбіт/с на контакт: 384 ÷ 8 × 21 = 1 008 ГБ/с.
• Двоканальний режим: дві планки RAM подвоюють пропускну здатність порівняно з однією. DDR5-6000 у двоканальному режимі дає близько 96 ГБ/с.
• HBM: багатошарова пам’ять у картах для дата-центрів (терабайти за секунду).
• Використання: на практиці часто досягається 60–85 % від максимуму.

Див. також: Токени за секунду, VRAM і розмір моделі, Уніфікована пам’ять (Apple Silicon)