Нейросеть научили воссоздавать лицо человека по его голосу

© Depositphotos / Fotodom3D модели человеческих голов
3D модели человеческих голов - Sputnik Азербайджан
Подписаться на
Yandex newsTelegram
Исследователи из Массачусетского технологического института разработали технологию, которая способна воссоздавать внешность человека на основе записи его голоса. Нейросетевая модель получила название Speech2Face

На примере нескольких миллионов видео алгоритм научился реконструировать примерное изображение лица человека, основываясь на поле, расе и возрасте. Для распознавания этих данных искусственному интеллекту достаточно короткого аудиоклипа.

Несмотря на то, что разработчикам удалось добиться восстановления биометрических характеристик человека, модель все же несовершенна. Результаты работы алгоритма далеки от портретного сходства, но зато уже первая версия модели хорошо определяет пол, возраст (c точностью в пять-шесть лет) и расовую принадлежность любого человека.

Ученые сосредоточились именно на этих трех важных параметрах, так как считают, что в дальнейшем это может иметь большое практическое применение. В первую очередь исследование поможет создавать анимационные аватары человека по голосу, а также изучить корреляцию голоса с внешностью. Технологию в перспективе смогут использовать разработчики видеоигр, сервисы визуализации аудиозвонков и правоохранительные органы. 

© Photo : Tae-Hyun Oh et al.В первом столбце исходные фотографии, во втором — лица, восстановленные по фото, а в третьем — изображения, сделанные нейросетью на основе голоса
Нейросеть научили воссоздавать лицо человека по его голосу   - Sputnik Азербайджан
В первом столбце исходные фотографии, во втором — лица, восстановленные по фото, а в третьем — изображения, сделанные нейросетью на основе голоса
Лента новостей
0