Исследователи Google научили ИИ понимать музыку по активности мозга

Изучая активность мозга человека, искусственный интеллект (ИИ) теперь может создать песню, соответствующую жанру, ритму и настроению музыки, которую человек недавно слышал.

Ученые ранее «реконструировали» другие звуки на основе активности мозга, такие как человеческая речь, пение птиц и ржание лошадей.

Теперь исследователи создали конвейер на основе ИИ под названием Brain2Music, который использует данные визуализации мозга для создания музыки, напоминающей короткие фрагменты песен, которые человек слушал во время сканирования его мозга. Они описали конвейер в статье, опубликованной 20 июля в базе данных препринтов arXiv, которая еще не прошла рецензирование.

Ученые просканировали мозг методом функциональной магнитно-резонансной томографии (фМРТ), который отслеживает приток богатой кислородом крови к мозгу, чтобы увидеть, какие области наиболее активны. Сканы были собраны у пяти участников, когда они слушали 15-секундные музыкальные клипы, охватывающие целый ряд жанров, включая блюз, классику, кантри, диско, хип-хоп, джаз и поп.

Используя часть данных визуализации мозга и песенных клипов, исследователи сначала обучили программу искусственного интеллекта находить связи между особенностями музыки, включая используемые инструменты и ее жанр, ритм и настроение, а также сигналы мозга участников. Настроение музыки определялось исследователями с помощью таких ярлыков, как «счастливое», «грустное», «нежное», «захватывающее», «сердитое» или «страшное».

ИИ был настроен для каждого человека, проводя связи между их уникальными паттернами активности мозга и различными музыкальными элементами.

Обучившись на выборке данных, ИИ мог преобразовывать оставшиеся, ранее невидимые данные визуализации мозга в форму, которая представляла музыкальные элементы из оригинальных песенных клипов.

Затем исследователи ввели эту информацию в другую модель ИИ, ранее разработанную Google, под названием MusicLM. MusicLM изначально был разработан для создания музыки из текстовых описаний, таких как «успокаивающая мелодия скрипки, сопровождаемая искаженным гитарным риффом».

MusicLM использовала эту информацию для создания музыкальных произведений, которые довольно точно напоминали фрагменты оригинальных песен.

«Совпадение с точки зрения настроения реконструированной музыки и оригинальной музыки составило около 60%, — рассказал Live Science соавтор исследования Тимо Денк, инженер-программист Google в Швейцарии. – Жанр и инструментовка в реконструированной и оригинальной музыке совпадали значительно чаще, чем можно было бы ожидать случайно. Из всех жанров ИИ наиболее точно смог выделить классическую музыку».

«Метод оказался довольно надежен для пяти людей, которых мы оценивали, — отметил Денк. - Если вы возьмете нового человека и обучите для него модель, вполне вероятно, что она тоже будет хорошо работать».  

В конечном счете, цель этой работы — пролить свет на то, как мозг обрабатывает музыку, — сказал соавтор Ю Такаги, доцент кафедры вычислительной нейробиологии и искусственного интеллекта в Университете Осаки в Японии.

Как и ожидалось, команда обнаружила, что прослушивание музыки активирует области мозга в первичной слуховой коре, где сигналы от ушей интерпретируются как звуки. По словам Такаги, другая область мозга, называемая латеральной префронтальной корой, важна для обработки смысла песен, но это необходимо подтвердить дальнейшими исследованиями. Известно также, что эта область мозга участвует в планировании и решении проблем.