CUDA та програмування GPU: як ШІ рахує на відеокартах

Коротко: GPU виконують тисячі простих обчислень паралельно; з CUDA (NVIDIA) або ROCm (AMD) пишуть функції-ядра, але частіше використовують фреймворки на кшталт PyTorch, які їх уже містять.

Докладніше: У CPU мало швидких ядер для складних послідовностей; у GPU — тисячі маленьких ядер для масово паралельних обчислень з тією самою операцією над безліччю даних (SIMT). Множення матриць у нейронних мережах…