Robotik und Embodied AI

Kurz: Embodied AI verbindet KI mit einem Körper: Roboter nehmen mit Kameras und Sensoren wahr, planen und handeln. Neue Modelle verbinden Sprache, Sehen und Bewegung in einem Netz.

Genauer: Die Welt ist schwerer als Text: Fehler wirken sich physisch aus, Daten sind knapp und Echtzeit ist nötig.

Im Detail

• Klassischer Ablauf: Wahrnehmen → Karte/Lokalisierung (SLAM) → Planen → Regeln (PID, Modellprädiktive Regelung) → Motoren.
• Lernen: Nachahmung (Imitation Learning) aus Vorführungen, Verstärkungslernen in Simulation, dann Übertragung in die Realität (Sim-to-Real).
• Vision-Language-Action-Modelle (VLA): Ein Modell nimmt Kamerabild und Anweisung („räume den Tisch ab“) und gibt Bewegungen aus (RT-2, OpenVLA, π0).
• Simulation: Isaac Sim, MuJoCo, Gazebo. Domänen-Randomisierung macht Modelle robuster.
• Hindernisse: Wenig reale Daten, Sicherheit, Kosten der Hardware, lange Ketten von Aufgaben.
• Anwendungen: Lager, Industrie, Staubsauger, Drohnen, autonomes Fahren.
• Autonomes Fahren: Sensorfusion aus Kamera, Radar, Lidar, Stufen 0 bis 5 der Automatisierung.

Siehe auch: Verstärkungslernen (Reinforcement Learning), Computer Vision: Aufgaben und Verfahren