Нейроны, слои и функции активации
Коротко: Искусственный нейрон умножает входы на веса, складывает их со смещением и пропускает результат через функцию активации. Множество нейронов в слоях образует нейронную сеть.
Подробнее: Функция активации вносит нелинейность. Без неё глубокая сеть была бы лишь одним линейным отображением и не могла бы изучать сложные закономерности.
Подробности
- Нейрон:
a = f(w₁x₁ + w₂x₂ + … + b)…
См. также: нейронные сети и обратное распространение, инициализация, нормализация и dropout