Sprache und Audio: Spracherkennung und Sprachsynthese

Kurz: Spracherkennung (ASR) wandelt Audio in Text um, Sprachsynthese (TTS) Text in Audio. Beides wird heute mit neuronalen Netzen gemacht, meist mit Transformern.

Genauer: Audio ist eine Wellenform mit zum Beispiel 16.000 Messwerten pro Sekunde. Das ist für Modelle zu fein, deshalb wird es zuerst in ein Spektrogramm (Frequenzen über die Zeit) oder in Audio-Tokens umgewandelt.

Im Detail

• Spektrogramm: Mel-Spektrogramm bildet die Frequenzen so ab, wie das Ohr sie wahrnimmt. Das Netz sieht ein „Bild“ des Klangs.
• Whisper (OpenAI): Encoder-Decoder-Transformer, auf Hunderttausenden Stunden Sprache trainiert, erkennt viele Sprachen und übersetzt.
• CTC: Verlustfunktion, die Audio-Rahmen ohne feste Zuordnung mit Text verbindet.
• TTS: Text → Phoneme/Tokens → Akustikmodell → Vocoder (Wellenform). Neuere Modelle erzeugen Audio-Tokens direkt wie ein Sprachmodell.
• Stimmklonen: Aus wenigen Sekunden Audio kann eine Stimme nachgebildet werden. Missbrauch (Betrug, Deepfakes) ist ein ernstes Risiko, siehe ki-phishing.
• Neural Audio Codecs: Komprimieren Audio in diskrete Tokens (EnCodec, SoundStream).
• Musikmodelle: Erzeugen Musik mit ähnlichen Verfahren.
• Echtzeit: Sprachassistenten brauchen niedrige Latenz, deshalb Streaming und Voice-Activity-Detection.

Siehe auch: Vision Transformer und CLIP, Encoder, Decoder und die Modellfamilien (BERT, GPT, T5)