Нейронні мережі та зворотне поширення помилки

Коротко: Нейронна мережа складається з шарів простих обчислювальних одиниць (нейронів), що утворюють зважені суми й пропускають їх через нелінійну функцію. Зворотне поширення ефективно обчислює, як кожна вага впливає на помилку.

Докладніше: Шар обчислює y = f(W·x + b). Кілька шарів поспіль можуть вивчити складні залежності. Під час навчання обчислення йде вперед (передбачення, втрати), потім помилка поширюється назад крізь усі шари за ланцюговим правилом, щоб отримати градієнти.

Подробиці

• Функції активації: ReLU, GELU, сигмоїда…

Див. також: градієнтний спуск і навчання на даних, архітектура трансформера