Искусственный интеллект сумел распознать фортепианную музыку по видео без звука
Нейросеть анализирует положение рук музыканта и длительность нажатия клавиш
Команда разработчиков из Вашингтонского университета (США) разработала технологию Auden, способную распознавать композиции, исполненные по фортепиано, анализируя видео без аудиодорожки. Материалы исследования были опубликованы на официальном сайте университета.
Технология включает в себя программу искусственного интеллекта, обученного при помощи воспроизведения видеозаписей с игрой пианиста Пола Бартона, исполняющего произведения Моцарта и Баха. В общей сложности нейросеть обработала около 172 тыс. кадров. В ходе анализа система наблюдает за порядком нажатия клавиш фортепиано, определяя отдельные сыгранные ноты. Система способна улавливать силу нажатия и время удержания каждой клавиши. В анализе также учитываются акустические особенности фортепиано.
Данные в особом формате передаются цифровому синтезатору, который воспроизводит проанализированное музыкальное произведение. При анализе сгенерированной композиции при помощи приложения для распознавания музыки SoundHound, точность результатов составила 86%. Точность результатов анализа исходной композиции составила 93%. Специалисты заявили, что продолжат работать над технологией для сокращения этого разрыва в точности.
Эли Шлизерман, профессор и старший автор исследования, заявил, что в будущем приложение можно будет доработать и создать систему, состоящую из виртуального пианино и камеры, записывающей руки музыканта. Камера, расположенная поверх пианино, поможет новичкам в обучении игре на музыкальном инструменте.