В браузере «Яндекс» добавили функцию синхронного перевода с YouTube

Сегодня, 5 августа 2022 года, компания «Яндекс» запустила новую технологию синхронного перевода прямых трансляций. Функция закадрового перевода доступна на YouTube.

Теперь россияне могут смотреть зарубежные презентации в прямом эфире, не дожидаясь пока в сети появятся записи с переводом и не обращаясь на каналы блогеров.

Алгоритм синхронного перевода строится на четырех нейросетях, одна из которых отвечает за распознание аудио и превращает его в текст, а вторая определяет пол спикера по биометрии.

Третья же отвечает за расставление знаков препинания, а также выделяет из текста особые смысловые фрагменты, содержащие в себе законченную мысль. Последняя нейросеть, как вы уже могли догадаться, отвечает за перевод на русский язык.

В будущем разработчики планируют добавить подобную функцию на стриминговые сервисы, вроде Twitch. Также будут добавлены новые языки.