Нейронные сети и обратное распространение ошибки

Коротко: Нейронная сеть состоит из слоёв простых вычислительных единиц (нейронов), образующих взвешенные суммы и пропускающих их через нелинейную функцию. Обратное распространение эффективно вычисляет, как каждый вес влияет на ошибку.

Подробнее: Слой вычисляет y = f(W·x + b). Несколько слоёв подряд могут выучить сложные зависимости. При обучении вычисление идёт вперёд (предсказание, потери), затем ошибка распространяется назад через все слои по цепному правилу, чтобы получить градиенты.

Подробности

• Функции активации: ReLU, GELU, сигмоида…

См. также: градиентный спуск и обучение на данных, архитектура трансформера