Зачем GPU для ИИ?
Коротко: Нейронные сети состоят из огромных умножений матриц, распадающихся на тысячи одинаковых независимых вычислений. У видеокарт тысячи маленьких вычислительных ядер, выполняющих их параллельно.
Подробнее: У CPU мало мощных ядер для разных задач. У GPU тысячи простых ядер, выполняющих одну и ту же операцию над множеством данных одновременно (SIMD/SIMT).
Подробности
- Тензорные ядра: специальные блоки для матричных блоков…
См. также: VRAM и размер модели, обучение в большом масштабе