KI und Musik: Wie Modelle Klänge erzeugen

Kurz: Musik-KI erzeugt Klang aus Text oder Melodien. Es gibt zwei Hauptwege: Audio als Folge von Token vorhersagen (wie bei einem Sprachmodell) oder Audio ähnlich wie Bilder per Diffusion erzeugen.

Das Grundproblem

Ton hat eine sehr hohe Datenrate: 44.100 Messwerte pro Sekunde. Ein Lied von drei Minuten sind fast acht Millionen Werte. Direkt Wert für Wert vorherzusagen ist unpraktisch.

Lösung: komprimieren

Ein Audio-Codec (ein Autoencoder) wandelt Ton in eine viel kürzere Folge diskreter Codes um und zurück. Darauf arbeiten die Modelle:

1. Token-Modelle: Ein Transformer sagt die Codes nacheinander voraus, bedingt durch Text („ruhiger Jazz mit Klavier“), wie ein Sprachmodell.
2. Diffusionsmodelle: Aus Rauschen im komprimierten Raum entsteht schrittweise Musik, siehe Bildgenerierung mit Diffusionsmodellen.

Weitere Aufgaben

Stimmen nachbilden, Stems trennen (Gesang, Schlagzeug, Bass), Akkorde erkennen, Mastering, Übergänge zwischen Liedern.

Offene Fragen

• Urheberrecht: Mit welchen Aufnahmen darf trainiert werden? Siehe Trainingsdaten, Urheberrecht und Datenschutz bei KI.
• Stimmenklone und Fälschungen: Deepfakes und KI-Erkennung, C2PA und Herkunftsnachweise für KI-Inhalte.
• Was zählt als eigene Schöpfung, und wie werden Musiker beteiligt?

Siehe auch: Sprache und Audio: Spracherkennung und Sprachsynthese