Skip-Verbindungen und Residual-Netze

Kurz: Eine Skip-Verbindung (Residual-Verbindung) addiert die Eingabe eines Blocks zu seiner Ausgabe: y = x + f(x). Das lässt Gradienten ungehindert durch sehr tiefe Netze fließen.

Genauer: Das Verfahren stammt aus ResNet (2015) und machte Bildnetze mit über 100 Schichten trainierbar. Jeder Transformer-Block nutzt dieselbe Idee.

Im Detail

• Idee: Der Block muss nur die Abweichung (das „Residuum“) vom Eingang lernen. „Nichts tun“ ist leicht (f = 0).
• Gradientenfluss: Beim Rückwärtsdurchlauf gibt es einen direkten Weg ohne Verkleinerung.
• Residual-Strom: In Transformern bildet die Summe aller Block-Beiträge einen „Strom“ pro Position, den Attention und MLP lesen und beschreiben.
• Varianten: DenseNet (alle früheren Schichten), U-Net (Skips zwischen Kodierer und Dekodierer, bei Diffusionsmodellen).
• Bedeutung: Ohne Skip-Verbindungen wären Netze mit Hunderten Schichten praktisch nicht trainierbar.

Siehe auch: Vorwärtsdurchlauf und Rückwärtsdurchlauf im Detail, Der Transformer-Block im Detail