Пропускная способность памяти

Коротко: Пропускная способность памяти показывает, сколько гигабайт в секунду можно передать между памятью и процессором.

Подробнее: Это решающая величина для скорости языковых моделей. У видеокарт сотни–тысячи ГБ/с (GDDR6X, HBM), тогда как у обычной памяти ПК всего около 50–100 ГБ/с. Чипы Apple с унифицированной памятью лежат посередине (100–800 ГБ/с).

Наш контекст: В калькуляторе скорости ИИ для каждой видеокарты, процессора и чипа Apple указана пропускная способность. Она определяет, сколько токенов в секунду возможно.

Подробности

• Расчёт: ширина шины в битах ÷ 8 × скорость передачи данных памяти. У 384-битной карты с 21 Гбит/с на контакт: 384 ÷ 8 × 21 = 1 008 ГБ/с.
• Двухканальный режим: две планки RAM удваивают пропускную способность по сравнению с одной. DDR5-6000 в двухканальном режиме даёт около 96 ГБ/с.
• HBM: многослойная память в картах для дата-центров (терабайты в секунду).
• Использование: на практике часто достигается 60–85 % от максимума.

См. также: Токены в секунду, VRAM и размер модели, Унифицированная память (Apple Silicon)