Искусственный интеллект научился «озвучивать» фотографии

В начале прошлого года генеалогическая соцсеть MyHeritage запустила веб-приложение Deep Nostalgia на основе технологии дипфейков, которое позволило «оживить» старые фотографии умерших родственников. Предложение обрело вирусную популярность, и с момента запуска инструментом воспользовались более 100 млн раз. Новый инструмент под названием LiveStory предлагает добавить ещё и голос.

Фото из открытых источников

Как и в случае с Deep Nostalgia, для создания новой презентации пользователи могут загружать фото и с помощью алгоритмов машинного обучения превращать его в короткий анимированный ролик. MyHeritage объединила усилия с израильским проектом D-ID, и пользователи ресурса получили возможность создавать говорящий портрет родственника, рассказывающий историю жизни. Конечно же, на записи звучит не настоящий голос человека на снимке, но можно выбирать из библиотеки с более чем 140 голосами при поддержке 31 языка. В перспективе их список будет расширяться.

Рассказ человека на снимке может либо автоматически генерироваться из уже имеющейся в распоряжении ресурса истории семьи, либо составляться самим пользователем, от которого требуется написать текст от первого лица — его можно разбить на главы и проиллюстрировать дополнительными снимками. Остальная работа производится в автоматическом режиме: объединение снимков в видеоролик, преобразование текста в речь на основе выбранной голосовой модели, а также анимация снимка самого родственника с речевой артикуляцией и мимикой. В зависимости от длины текста всё это занимает от 30 секунд до нескольких минут.

Система одинаково эффективно работает с чёрно-белыми, расцвеченными или цветными снимками, а получившееся видео можно при необходимости дополнительно отредактировать, чтобы потом отправить близким. В перспективе можно будет добавлять субтитры и менять очерёдность глав. Инструмент доступен по модели freemium — все возможности открываются по подписке.