Когда искусственный интеллект начнет озвучивать сериалы
Российские издательства уже экспериментируют с машинной записью аудиокниг, в перспективе искусственному интеллекту можно будет поручить перевод сериалов и озвучку их голосами любимых актеров. Об особенностях таких технологий и сколько времени понадобится на их создание.
Устная речь превращается в письменную
На YouTube автоматические субтитры для роликов создает программа распознавания голоса и перевода речи в текст. В ее основе — самообучающиеся нейросети. Этой опции более десяти лет, но результат все еще далек от идеала. Чаще всего удается лишь уловить общий смысл сказанного. В чем трудность?
Допустим, объясняет Андрей Фильченков, руководитель лаборатории «Машинное обучение» Университета ИТМО, мы строим алгоритм для распознавания речи. Для этого требуется обучить нейросеть на большом массиве данных.
Понадобятся сотни, тысячи часов записей речи и правильное сопоставление их с текстами, включая разметку начала и окончания фраз, смены собеседников и так далее. Это называется корпусом. Чем он больше, тем качественнее идет обучение нейросети, Для английского языка созданы действительно большие корпуса, поэтому распознавание значительно лучше. Но для русского или, скажем, испанского данных гораздо меньше, а для многих других языков нет вообще.
«И результат соответствующий», — заключает ученый.
«Кроме того, значение слова, фразы в фильме мы оцениваем не только по звуку, важны и интонация актера, его мимика. Как интерпретировать это?» — добавляет Сергей Аксенов, доцент отделения информационных технологий Томского политехнического университета.
«Как обработать особенности беглой речи? Нечеткую артикуляцию, отрывочность, междометия, паузы? Ведь в зависимости от этого меняется смысл, как в „казнить нельзя помиловать“. Как научить машину определять, где у говорящего запятая? А в стихах?» — перечисляет Марина Болсуновская, заведующая лабораторией «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ.
Самые успешные проекты, по мнению эксперта, — в узких областях. Например — система распознавания профессиональной речи врачей с использованием медицинских терминов, разработанная группой компаний ЦРТ, помогающая докторам вести историю болезни.
«Здесь можно четко очертить предметную область и выделить в речи ключевые слова. Врач специально подчеркивает интонацией определенные разделы: жалобы пациента, диагноз», — уточняет Болсуновская.
На еще одну проблему указывает Михаил Бурцев, заведующий лабораторией нейронных систем и глубокого обучения МФТИ. Дело в том, что пока машина успешнее распознает текст, когда говорит один человек, нежели несколько, как в кинофильмах.
Перевод с контекстом
Возьмем какой-нибудь англоязычный ролик, например нарезку из сериала «Игра престолов», и включим автоматические русские субтитры. То, что мы увидим, скорее всего, нас рассмешит.
Кадр из *Игры престолов*.
Хотя в машинном переводе технологии достигли впечатляющих успехов. Так, Google Translate переводит тексты на распространенных языках вполне сносно, часто требуется лишь минимальная правка.
Дело в том, что нейросеть-переводчик также обучается на большом массиве исходных, правильно размеченных данных — параллельном корпусе, где показано, как каждая фраза на языке оригинала должна выглядеть по-русски.
«Строить такие корпусы очень трудоемко, дорого и долго, уходят месяцы, годы. Чтобы натренировать нейросеть, нужны тексты объемом с Александрийскую библиотеку. Модели универсальные, но многое зависит от языка. Если предоставить много данных, например на аварском, и перевод выдадут качественный, но для аварского просто нет такого объема данных», — говорит Андрей Фильченков.
«Перевод — это отдельный продукт, который связан с оригиналом, но не равен ему, — отмечает Илья Мирин, директор Школы цифровой экономики Дальневосточного федерального университета. — Характерный пример — переводы Дмитрия Пучкова (Гоблина) зарубежных фильмов в 90-е. Только после его работы стало понятно, что там происходит. Из VHS-версий мы не могли узнать ничего адекватного. Как вариант, попробуйте перевести на язык, который хорошо знаете, что-то из „Мастера и Маргариты“. Например, „в черном плаще с кровавым подбоем“. Машина этого не сумеет».
Нейросети хорошо обучаются на множестве типовых примеров, но фильмы полны сложных смыслов и коннотаций, шуток, машине не доступных — она не может их различить.
«В каждой серии мультсериала Futurama есть отсылка к классическому американскому кинематографу — „Касабланке“, „Римским каникулам“ и так далее. В такие моменты переводчику, чтобы поймать и переупаковать смысл для тех, кто этих фильмов не смотрел, нужно придумать близкий аналог из российского контекста. Неправильный машинный перевод может сильно обескуражить зрителя», — продолжает Мирин.
По его мнению, качество машинного перевода близко к 80 процентам, остальное — специфика, которую надо добавлять вручную, привлекая экспертов. «А если 20-30 процентов фраз требуют ручной коррекции, то в чем польза машинного перевода?» — рассуждает исследователь.
«Перевод — самый проблемный этап, — соглашается Сергей Аксенов. — Все упирается в семантику и контекст. Имеющиеся инструменты вполне можно использовать для перевода и машинной озвучки, например, детских мультиков с простой лексикой. Но вот с интерпретацией фразеологизмов, имен собственных, слов, отсылающих зрителей к каким-то культурным реалиям, возникают сложности».
В фильмах и видеороликах контекст всегда визуальный и нередко сопровождается музыкой, шумами. Мы по картинке домысливаем, о чем говорит герой. Речь, обращенная в текст, лишена этой информации, поэтому перевод затруднен. В такой ситуации оказываются переводчики, работающие с текстовыми субтитрами, не видя фильма. Они часто ошибаются. С машинным переводом та же история.
ИИ озвучивает речь
Чтобы озвучить сериал, переведенный на русский, понадобится алгоритм генерации естественной речи по тексту — синтезатор. Их создают многие IT-компании, в том числе Microsoft, Amazon, Yandex, и получается у них неплохо.
По словам Андрея Фильченкова, пару лет назад минута озвучивания синтезатором речи занимала несколько часов, сейчас скорость обработки сильно выросла. Задача синтеза речи для некоторых областей, где требуются нейтральные диалоги, решается довольно хорошо.
Многие уже принимают как данность разговор с роботом по телефону, выполнение команд автомобильного навигатора, диалог с Алисой в машине «Яндекс.Драйв». Но для озвучивания сериалов эти технологии пока недотягивают.
«Проблема в эмоциях и актерской игре. Мы научились делать машинный голос человеческим, но чтобы он еще звучал уместно контексту и вызывал доверие — до этого далеко. Плохой озвучкой легко убить восприятие фильма», — полагает Фильченков.
По мнению Михаила Бурцева, синтез речи вполне реален. Однако это требует больших вычислительных ресурсов и не может выполняться в реальном времени за разумные деньги.
«Существуют алгоритмы, которые синтезируют речь, похожую на голос конкретного актера. Это и тембр, и манера говорить, и многое другое. Так любой иностранный актер фактически заговорит по-русски», — прогнозирует Бурцев. Он ожидает заметный прогресс в ближайшие годы.
Сергей Аксенов дает пять-десять лет на развитие инструментов для перевода и озвучки сложных произведений с самых распространенных языков вроде английского. Ученый приводит в пример Skype, который несколько лет назад продемонстрировал возможность организации онлайн-уроков для школьников, говорящих на разных языках. Но даже тогда система не будет идеальной, ей постоянно придется учиться: набирать словарный запас, учитывать культурный контекст.
Источник
