Невронната мрежа MTI определя музиката чрез движението на тялото на музиканта (видео)

Човек е в състояние да слуша музика не само с уши,но и с очите си, наблюдавайки бързите движения на пръстите на пианистите или плавното плъзгане на цигулковия лък. Понякога интуитивно следваме движенията на музикантите, за да различим звуците, издавани от музикалните инструменти.

Система за изкуствен интелект, създадена влаборатория в Масачузетския технологичен институт, ви позволява да изолирате музиката, произведена от инструмента, въз основа на движенията на тялото на изпълнителя. Обучен в съчетаване на човешките движения и музикалния темп на отделните части, изкуственият интелект помага на слушателя да различи една флейта или цигулка от няколко подобни инструменти, свирещи в оркестър.

Според разработчиците, специално обучениневронна мрежа може да се използва при смесване на звук за увеличаване на силата на звука на определен музикален инструмент. Използването на тази технология ще стане достъпно в бъдеще с видеоконференции. Потребителят ще може да подчертае разговора с конкретен събеседник и да намали външния шум.

Основата на новата система беше технологията,използван във вече съществуваща функция, при слушане на концерт беше възможно да се увеличи обемът на определени инструменти. Новата система предвижда анализ на движенията на музиканта, проучване на положението на тялото му. Обучението за изкуствен интелект беше проведено с помощта на синхронизирани аудио и видео записи.

Източник: хаб