Neuronale Netze und Backpropagation

Kurz: Ein neuronales Netz besteht aus Schichten einfacher Recheneinheiten (Neuronen), die gewichtete Summen bilden und durch eine nichtlineare Funktion schicken. Backpropagation berechnet effizient, wie jedes Gewicht den Fehler beeinflusst.

Genauer: Eine Schicht rechnet y = f(W·x + b). Mehrere Schichten hintereinander können komplexe Zusammenhänge lernen. Beim Training läuft die Rechnung vorwärts (Vorhersage, Loss), dann wird der Fehler mit der Kettenregel rückwärts durch alle Schichten propagiert, um die Gradienten zu erhalten.

Im Detail

• Aktivierungsfunktionen: ReLU, GELU, Sigmoid, Softmax (Wahrscheinlichkeiten). Ohne Nichtlinearität bliebe das Netz linear.
• Universelle Approximation: Große genug Netze können fast jede Funktion nähern.
• Architekturen: Dichte Netze, Faltungsnetze (Bilder), rekurrente Netze, Transformer (Text, Sprache).
• Vanishing/Exploding Gradients: Gradienten werden in tiefen Netzen zu klein/groß. Gegenmittel: ReLU, Residual-Verbindungen, Normalisierung.
• Regularisierung: Dropout, Gewichtszerfall, Datenaugmentation.
• Hardware: Matrixmultiplikation auf GPUs/TPUs.
• Embeddings: Wörter/Objekte als Vektoren.

Siehe auch: Gradientenabstieg und Lernen aus Daten, Transformer-Architektur