Neuronen, Schichten und Aktivierungsfunktionen

Kurz: Ein künstliches Neuron multipliziert seine Eingaben mit Gewichten, addiert sie samt Bias und schickt das Ergebnis durch eine Aktivierungsfunktion. Viele Neuronen in Schichten bilden ein neuronales Netz.

Genauer: Die Aktivierungsfunktion bringt Nichtlinearität ins Spiel. Ohne sie wäre ein tiefes Netz nur eine einzige lineare Abbildung und könnte keine komplexen Muster lernen.

Im Detail

• Neuron: a = f(w₁x₁ + w₂x₂ + … + b). Gewichte w und Bias b werden gelernt.
• Schicht: Viele Neuronen nebeneinander. Als Matrix-Rechnung: a = f(W·x + b). Genau das beschleunigen Grafikkarten.
• Eingabe-, versteckte, Ausgabeschicht: „Tief“ heißt viele versteckte Schichten.
• ReLU: max(0, x). Einfach, schnell, Standard bei vielen Netzen. Problem: Neuronen können „sterben“.
• GELU, SiLU/Swish: Glattere Varianten, in Transformern verbreitet. SwiGLU wird in modernen LLMs genutzt.
• Sigmoid, tanh: Früher üblich, heute vor allem am Ausgang oder in Gattern (LSTM).
• Softmax: Am Ende für Wahrscheinlichkeiten, siehe Softmax und Wahrscheinlichkeiten.
• Universalität: Schon ein Netz mit einer breiten versteckten Schicht kann jede stetige Funktion annähern, tiefe Netze tun es effizienter.
• Parameter zählen: Eine Schicht von 1000 auf 1000 Neuronen hat 1 Million Gewichte plus 1000 Bias, siehe parameter-(ki-modell).

Siehe auch: neuronale-netze-und-backpropagation, Initialisierung, Normalisierung und Dropout