В Cyberpunk 2077 использовали нейросеть для липсинка, в том числе на русском
CD Projekt объявила, что в Cyberpunk 2077 будет полная синхронизация анимации движения лиц и диалогов на всех десяти языках — включая русский.
Об этом рассказал Матеуш Поплавский, ведущий технический директор персонажей игры. По его словам, после завершения работы над «Ведьмаком 3» авторы поставили перед собой цель улучшить данный технический аспект.
Из-за новых запросов создатели не могли просто воспользоваться технологией захвата движений (Motion Capture), и пришлось придумывать что-то другое. Для этого они воспользовались нейросетью JALI, «систематизировав» процесс синхронизации анимации лица и голоса. Поплавский отметил, что анимации моделей в ролике были созданы сетью — люди к ним вообще не прикасались.
Если вкратце, то система вычисляет, какое конкретно движение требуется для определённого слова, тона или другого языка — учитываются даже мельчайшие подробности. В качестве примера было продемонстрировано, как персонаж произносит одни и те же фразы на разных языках.
Начиная с 13 минуты видео авторы наглядно демонстрируют изменения, которые привносит система, а на 15:44 можно увидеть результат синхронизации на десяти языках дубляжа, включая и русский.
Cyberpunk 2077 выходит 19 ноября на PS4, Xbox One, PC и Stadia. Игру также можно будет запустить на PS5 и Xbox Series с помощью обратной совместимости.
Игровые новости