KI-Frameworks: PyTorch, TensorFlow und JAX

Kurz: KI-Frameworks nehmen einem das Rechnen mit Tensoren, die automatische Ableitung und die Nutzung der Grafikkarte ab. PyTorch ist heute in der Forschung der Standard, TensorFlow und JAX sind die wichtigsten Alternativen.

Genauer: Man beschreibt das Modell als Folge von Operationen, das Framework erzeugt daraus bei Bedarf die Gradienten und führt sie auf GPU oder TPU aus.

Im Detail

• PyTorch (Meta): Dynamische Graphen, pythonartig, riesiges Ökosystem (Hugging Face, Lightning). torch.compile beschleunigt.
• TensorFlow/Keras (Google): Besonders für Produktion, mobile Geräte (TensorFlow Lite) und Web (TensorFlow.js). Keras ist die einfache Oberfläche.
• JAX (Google): Funktionaler Stil, jit, grad, vmap. Beliebt für Forschung auf TPUs.
• Hugging Face Transformers: Fertige Modelle und Trainingscode, siehe hugging-face.
• Inferenz: ONNX Runtime, TensorRT, llama.cpp (gguf-und-llama.cpp), vLLM, MLX (Apple), WebGPU im Browser.
• Minimalbeispiel PyTorch:

import torch
model = torch.nn.Linear(3, 1)
opt = torch.optim.Adam(model.parameters(), lr=1e-2)
for x, y in data:
    loss = ((model(x) - y) ** 2).mean()
    opt.zero_grad(); loss.backward(); opt.step()

• Hardware-Treiber: CUDA (NVIDIA), ROCm (AMD), Metal (Apple).

Siehe auch: Vorwärtsdurchlauf und Rückwärtsdurchlauf im Detail, Warum GPUs für KI?