Японская нейросеть озвучит картины и фото. Прототип уже работает
1 июня 2018, 19:13
Исследователи из Токийского университета в Японии создали нейросеть, которая сможет подобрать звук к шедеврам искусства, картинкам и фотографиям. Может даже на мемчик звук положить (пока что с трудом)
Проект исследователей из Токийского университета Imaginary Soundscape может "озвучивать" иллюстрации. Это нейросеть, которая находит на картинке определённые элементы, соотносит с теми, что ей известны и подбирает к ним звуки из базы на 52 000 файлов.
Imaginary Soundscape подберет идеальное звуковое сопровождение к любому изображению https://t.co/pcySsQY8wG pic.twitter.com/AiGPboJVkN
— Техкульт (@TechCult_ru) 27 мая 2018 г.
Система может выбирать и озвучивать вполне ожидаемые элементы изображения: например, если вы видите море, то подбирается звук волн и крики чаек. Но нейросеть может определить и детали, на которые мы не обращаем внимания: если на картине изображён человек, сеть может выделить его руки и предложить послушать звуки из живой спортивной игры.
Проект пока что находится на стадии доработки, но ему уже хорошо удаётся озвучивать абстрактные изображения и фотографии.
Ну что ж, нейросеть... попробуй озвучить это:
Правда, исследователи предупредили, что с мемами она пока справляется плохо - они пугают систему (немудрено).
