Нейрони, шари та функції активації
Коротко: Штучний нейрон множить входи на ваги, додає їх зі зсувом і пропускає результат через функцію активації. Безліч нейронів у шарах утворює нейронну мережу.
Докладніше: Функція активації вносить нелінійність. Без неї глибока мережа була б лише одним лінійним відображенням і не могла б вивчати складні закономірності.
Подробиці
- Нейрон:
a = f(w₁x₁ + w₂x₂ + … + b)…
Див. також: нейронні мережі та зворотне поширення, ініціалізація, нормалізація та dropout