Батч, эпоха и скорость обучения

Коротко: Батч — пачка примеров, используемая для одного шага обучения. Эпоха — один проход по всем обучающим данным. Скорость обучения определяет размер шага.

Подробнее: Вместо того чтобы использовать примеры один за другим или все сразу, берут мини-батчи. Это хорошо задействует видеокарты и сглаживает градиент.