Amazon Prime Video начала тестировать технологию синхронизации губ с дубляжом, которая с помощью искусственного интеллекта и визуальных эффектов подстраивает движения рта актеров под переведенную речь. Первым сериалом с такой функцией стала немецкая драма Maxton Hall.
Пока нововведение доступно только для английской версии дубляжа Maxton Hall. Зритель слышит озвучку, записанную людьми, а система дополнительно корректирует изображение, чтобы артикуляция персонажей выглядела более естественно и соответствовала словам на английском языке.
Речь не идет о полной замене актерских голосов синтетическими. Основой остаются записи профессиональных актеров дубляжа, тогда как ИИ анализирует исходное видео и изменяет отдельные визуальные элементы в области рта. Это должно уменьшить заметное расхождение между звуком и артикуляцией, часто возникающее при переводе сериалов.
Как работает новая локализация Prime Video
При обычном дубляже видеоряд остается неизменным, поэтому длина фраз, темп речи и положение губ не всегда совпадают. Новая система Prime Video использует комбинацию AI-технологий и VFX-обработки, чтобы адаптировать движения губ к продолжительности и фонетике английской реплики.
Компания пока не раскрывает технические детали модели, требования к качеству исходного материала и список стран, где функция будет доступна. Для зрителей в России это означает, что появление опции в конкретном сериале будет зависеть от регионального каталога Prime Video, языковых дорожек и локальных прав на показ.
В будущем Amazon собирается расширить технологию на другие фильмы и сериалы. Такой подход может оказаться особенно полезным для проектов, которые выпускаются сразу на нескольких языках: студиям не придется выбирать между естественной артикуляцией в оригинале и полноценным дубляжом для международной аудитории.
Похожее направление уже развивают другие видеоплатформы. Meta и YouTube предлагают автоозвучку для контента авторов, а YouTube также тестирует отдельную функцию lip sync, которая визуально подстраивает движения губ под переведенную речь. В отличие от автоматической озвучки, решение Prime Video на первом этапе работает с заранее подготовленным человеческим дубляжом.
Что известно о Maxton Hall
Немецкий сериал Maxton Hall - The World Between Us вышел на Prime Video в 2024 году и получил 6 эпизодов в первом сезоне. Сюжет основан на романе Save Me писательницы Моны Кастен и рассказывает о столкновении ученицы из небогатой семьи с наследником элитной школы. Для российского зрителя сериал может стать одним из заметных примеров того, как ИИ используется не для генерации контента, а для улучшения уже существующего дубляжа.
Технология также поднимает вопросы контроля качества: даже небольшие ошибки при изменении мимики способны сделать лицо персонажа неестественным. Поэтому итоговый результат, вероятно, будет зависеть не только от алгоритмов, но и от ручной проверки специалистов по визуальным эффектам и локализации.
