Teknologi

Neurale netværk hørte folkets stemmer og malede deres portrætter

For nylig har neurale netværk været overraskendeMed færdigheder - kunne du tro for ti år siden, at en computer kan "genoplive" portrætter af Dostojevskij og Marilyn Monroe? Gør dig klar til at blive overrasket yderligere, fordi forskere fra Massachusetts Institute of Technology har oprettet Speech2Face neurale netværk, som er i stand til at tegne portrætter af mennesker bare ved at lytte til deres stemmer. Teknologien er langt fra ideel, men dens evne til at bestemme køn, nationalitet og alder hos en person er imponerende.

Til træning af neurale netværk, et sæt afAVSpeech med millioner af korte videoer med tusindvis af talende mennesker. Sporene med video og lyd er adskilt, så systemet kunne studere hver type materiale så meget som muligt. I første fase af arbejdet studerede VGG-Face-algoritmen videofragmenter og skabte portrætter af mennesker, der vises på dem i fuldt ansigt og neutralt ansigtsudtryk. En anden del af algoritmen studerede taleprogrammet og overlejrede supplerende ændringer på de modtagne portrætter - som følge heraf fik vi et omtrentligt portræt af hver person, der talte.

Det neurale netværk til oprettelse af stemmebaserede portrætter er allerede en realitet

Hvis du sammenligner en persons ansigt med en video ogforeslået af algoritmen mulighed, kan du finde mange forskelle. Forskerne hævder dog, at de oprindeligt ikke ønskede at skabe det mest lignende portræt af en person - mange faktorer påvirker tone og intonation af den menneskelige stemme, så de ikke ville få det perfekte resultat. Men det neurale netværk klare det faktum, at det er vigtigt for forskere, nemlig med den nøjagtige definition af køn, nationalitet og alder.

Arbejdsforfatterne bemærkede det for øjeblikketAlgoritmen er svag til at bestemme alder, men de har evnen til at øge nøjagtigheden. Det blev også fundet, at algoritmen bedre genskaber folk med europæisk og asiatisk udseende, men det skyldes kun, at træningsvideoerne ikke var lig med antallet af personer af forskellige nationaliteter.

Hvorfor har du brug for et neuralt netværk?

Hvordan kan denne teknologi være nyttig ifremtiden? Som en mulighed kan der ved hjælp af det en gang oprettes en tjeneste, hvor en brugers virtuelle avatar oprettes automatisk, baseret på hans stemme. Ny forskning har også store videnskabelige fordele. Efter at have studeret dataene kan forskere finde forholdet mellem en persons udseende og hans stemme. Du kan lytte til stemmerne og se på portrætterne genskabt på deres grundlag på projektets hjemmeside.

Hvilken anvendelse af et sådant neuralt netværk kan du tænke på? Del dine dristige antagelser i kommentarerne og deltage i samtalen i vores telegram-chat.