Спустя год после запуска закадрового перевода видео в фирменном браузере компания «Яндекс» усовершенствовала эту функцию. Теперь посмотреть на русском языке можно даже прямые трансляции, будь то презентация новых смартфонов, интервью со знаменитостями, вебинары, всевозможные конференции или что-то ещё.
Для быстрой и качественной работы в потоковом сценарии разработчикам «Яндекса» понадобилось перестроить всю архитектуру закадрового перевода видео. В случае с записанными роликами нейросеть получает аудиодорожку целиком и сразу имеет доступ ко всему контексту. В случае с переводом прямой трансляции необходим кардинально другой подход: один алгоритм распознаёт аудио и превращает его в текст буквально на лету, другой — определяет пол спикера по биометрии.
Далее в дело вступает третья нейросеть, которая расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, содержащие законченную мысль. Их «забирает» ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
На данный момент технология работает в режиме открытого бета-тестирования и доступна для ограниченного числа YouTube-каналов:
- English Speeches
- TED
- TedX
- NASA
- SpaceX
- IGN
- The Game Awards
- Apple
- CNET Highlights
- Google Developers
- TechCrunch
- Business Insider
- Freeinvesting
- Overlap
Функция синхронного перевода трансляций доступна в десктопной версии «Яндекс.Браузера» начиная с версии 22.7.2.