Mathe-Grundlagen für KI: Vektoren, Matrizen, Tensoren

Kurz: KI rechnet fast nur mit Zahlenlisten. Ein Vektor ist eine Liste, eine Matrix eine Tabelle, ein Tensor eine mehrdimensionale Tabelle. Die wichtigste Operation ist die Matrixmultiplikation.

Genauer: Ein Wort, ein Bild oder ein Ton wird zuerst in Zahlen verwandelt. Alle Schichten eines Netzes sind dann Matrixmultiplikationen mit Gewichten, gefolgt von einfachen Funktionen.

Im Detail

• Vektor: [0.2, −1.5, 3.1]. Ein Embedding ist ein Vektor mit Hunderten bis Tausenden Zahlen.
• Skalarprodukt: Summe der paarweisen Produkte. Es misst Ähnlichkeit (gleiche Richtung = groß). Grundlage von Attention.
• Matrix: Zeilen × Spalten. Eine Schicht mit 4096 Ein- und Ausgängen ist eine 4096×4096-Matrix (16,8 Millionen Zahlen).
• Matrixmultiplikation: C = A·B, jede Zelle ist ein Skalarprodukt aus Zeile und Spalte. Rechenaufwand wächst mit der Größe, GPUs sind dafür gebaut.
• Tensor: Mehrdimensionale Anordnung, zum Beispiel Bilder-Batch [Batch, Höhe, Breite, Farbkanäle] oder [Batch, Tokens, Dimension].
• Norm und Abstand: Länge eines Vektors, Abstand zweier Vektoren, Kosinus-Ähnlichkeit (Winkel).
• Ableitung und Gradient: Der Gradient ist der Vektor aller partiellen Ableitungen und zeigt die Richtung des steilsten Anstiegs, siehe gradientenabstieg-und-lernen-aus-daten.
• Wahrscheinlichkeit: Verteilungen, Erwartungswert, Entropie, siehe Wahrscheinlichkeit, Entropie und KL-Divergenz.
• Bibliotheken: NumPy, PyTorch, JAX, siehe KI-Frameworks: PyTorch, TensorFlow und JAX.

Siehe auch: Neuronen, Schichten und Aktivierungsfunktionen, embedding-(vektordarstellung)