Le réseau neuronal MTI définit la musique par le mouvement du corps d'un musicien (vidéo)

Une personne est capable d'écouter de la musique non seulement avec ses oreilles,mais aussi avec les yeux, en observant les mouvements rapides des doigts des pianistes ou le glissement en douceur de l'archet de violon. Parfois, nous suivons intuitivement les mouvements des musiciens afin de distinguer les sons émis par les instruments de musique.

Système d'intelligence artificielle créé enlaboratoire du Massachusetts Institute of Technology, permet d'isoler la musique produite par l'instrument, en fonction des mouvements corporels de l'interprète. Formée à faire correspondre les mouvements humains et le tempo musical des parties individuelles, l'intelligence artificielle aide l'auditeur à distinguer une flûte ou un violon de plusieurs instruments similaires jouant dans un orchestre.

Selon les développeurs, spécialement formésun réseau neuronal peut être utilisé dans le mixage sonore pour augmenter le volume d'un instrument de musique particulier. L'utilisation de cette technologie deviendra disponible à l'avenir avec la visioconférence. L'utilisateur pourra mettre en évidence la conversation avec un interlocuteur spécifique et réduire les bruits parasites.

La base du nouveau système était la technologie,utilisé dans une fonction déjà existante lors de l'écoute d'un concert, il était possible d'augmenter le volume d'instruments spécifiques. Le nouveau système prévoit l'analyse des mouvements du musicien, l'étude de la position de son corps. Une formation en intelligence artificielle a été dispensée à l'aide d'enregistrements audio et vidéo synchronisés.

Source: habr