Навчання у великому масштабі: GPU, паралелізм і пам’ять

Коротко: Великі моделі не вміщуються на одному GPU. Їх розподіляють по тисячах GPU з кількома видами паралелізму, швидкими зв’язками та змішаною точністю.

Докладніше: Під час навчання кожній вазі, окрім значення, потрібні градієнт і стани оптимізатора. З Adam у змішаній точності це близько 16 байтів на параметр.