Обучение в большом масштабе: GPU, параллелизм и память

Коротко: Большие модели не помещаются на одном GPU. Их распределяют по тысячам GPU с несколькими видами параллелизма, быстрыми связями и смешанной точностью.

Подробнее: При обучении каждому весу, помимо значения, нужны градиент и состояния оптимизатора. С Adam в смешанной точности это около 16 байт на параметр.