EMZETT.
Увійти

Мовлення та звук: розпізнавання й синтез мовлення

Коротко: Розпізнавання мовлення (ASR) перетворює звук на текст, синтез мовлення (TTS) — текст на звук. Сьогодні обидва роблять нейромережі, зазвичай трансформери.

Докладніше: Звук — це хвиля, наприклад із 16 000 відліків на секунду. Для моделей це надто дрібно, тому її спершу перетворюють на спектрограму (частоти в часі).

Подробиці

  • Спектрограма: мел-спектрограма відображає частоти…

Див. також: трансформер для зору та CLIP, енкодер, декодер і родини моделей