июня 19, 2019

Нейросеть нарисовала портреты людей по голосу

мая 30, 2019

Исследователи из Массачусетского технологического института создали нейросеть Speech2Face, которая способна рисовать портреты людей по их голосу. Технология пока далека от идеала, но ее способность определять пол, национальность и возраст человека впечатляет.

Для обучения нейросети использовался набор AVSpeech с миллионом коротких видеороликов с тысячами говорящих людей. На первом этапе работы, алгоритм VGG-Face изучал фрагменты видео и создавал портреты фигурирующих на них людей в анфас и нейтральным выражением лица. Другая часть алгоритма изучала спектрограмму голоса и накладывала на полученные портреты дополнительные изменения — в итоге получился примерный портрет каждого разговаривающего человека.

Нейронная сеть отлично справляется с тем, что важно исследователям, а именно с точным определением пола, национальности и возраста.

Авторы работы отметили, что на данный момент алгоритм слабоват при определении возраста, но они в силах повысить точность. Также было обнаружено, что алгоритм лучше воссоздает лица с европейской и азиатской внешностью, но это связано только с тем, что на обучающих видеороликах было не равное количество лиц разных национальностей.

Загружаем курсы валют от minfin.com.ua

 

© 2017 ИСТОЧНИК . All Rights Reserved.

Please publish modules in offcanvas position.