CUDA и программирование GPU: как ИИ считает на видеокартах

Коротко: GPU выполняют тысячи простых вычислений параллельно; с CUDA (NVIDIA) или ROCm (AMD) пишут функции-ядра, но чаще используют фреймворки вроде PyTorch, которые их уже содержат.

Подробнее: У CPU мало быстрых ядер для сложных последовательностей; у GPU — тысячи маленьких ядер для массово параллельных вычислений с одной и той же операцией над множеством данных (SIMT). Умножения матриц в нейронных сетях…