Мовлення та звук: розпізнавання й синтез мовлення
Коротко: Розпізнавання мовлення (ASR) перетворює звук на текст, синтез мовлення (TTS) — текст на звук. Сьогодні обидва роблять нейромережі, зазвичай трансформери.
Докладніше: Звук — це хвиля, наприклад із 16 000 відліків на секунду. Для моделей це надто дрібно, тому її спершу перетворюють на спектрограму (частоти в часі).
Подробиці
- Спектрограма: мел-спектрограма відображає частоти…
Див. також: трансформер для зору та CLIP, енкодер, декодер і родини моделей