Прямой и обратный проход подробно

Коротко: При прямом проходе данные послойно проходят через сеть и дают предсказание. При обратном проходе правило цепочки вычисляет, как каждый вес повлиял на ошибку.

Подробнее: Обратный проход (обратное распространение) эффективен, потому что повторно использует промежуточные результаты прямого прохода. Фреймворки вроде PyTorch делают это автоматически («autograd»).