Neural verkko kuuli ihmisten äänet ja maalasi heidän muotokuvansa

Äskettäin hermoverkot ovat olleet yllättäviäTaitojen avulla - voisitteko uskoa kymmenen vuotta sitten, että tietokone voi ”elvyttää” Dostojevskin ja Marilyn Monroen muotokuvia? Valmistaudu yllättymään edelleen, koska Massachusettsin teknologiainstituutin tutkijat ovat luoneet Speech2Face-hermoverkon, joka pystyy piirtämään ihmisten muotokuvia vain kuuntelemalla heidän ääniään. Teknologia ei ole vielä kaukana ihanteellisesta, mutta sen kyky määrittää henkilön sukupuoli, kansallisuus ja ikä on vaikuttava.

Neuraaliverkon kouluttamiseksi, joukkoAVSpeech, jossa on miljoonia lyhyitä videoita tuhansien puhuvien ihmisten kanssa. Kappaleet, joissa on video ja ääni, erotetaan toisistaan, joten järjestelmä pystyi tutkimaan kunkin materiaalin tyypin mahdollisimman yksityiskohtaisesti. Ensimmäisessä työvaiheessa VGG-Face-algoritmi opiskeli videoleikkauksia ja loi heille muotokuvia, jotka näkyivät niissä koko kasvot ja neutraali kasvojen ilme. Toinen osa algoritmista tutki äänen spektrogrammia ja lisäsi muutoksia vastaanotettuihin muotokuviin - tämän seurauksena saimme likimääräisen muotokuvan jokaisesta puhuvasta henkilöstä.

Äänipohjaisten muotokuvien luomiseen tarkoitettu hermoverkko on jo todellisuutta

Jos verrataan henkilön kasvot videoon jaalgoritmivaihtoehdon ehdottama, löydät monia eroja. Tutkijat väittävät kuitenkin, että he eivät aluksi halunneet luoda samanlaista muotokuvaa ihmisestä - monet tekijät vaikuttavat ihmisen äänen sävyyn ja intonaatioon, joten he eivät saisi täydellistä tulosta. Mutta hermoverkko selviää siitä, että se on tärkeää tutkijoille, nimittäin sukupuolen, kansallisuuden ja iän tarkan määritelmän kanssa.

Teoksen tekijät totesivat, että tällä hetkelläAlgoritmi on heikko määrittäessään ikää, mutta niillä on valta lisätä tarkkuutta. Lisäksi havaittiin, että algoritmi luo paremmin ihmisiä, joilla on eurooppalainen ja aasialainen ulkonäkö, mutta tämä johtuu vain siitä, että koulutusvideot eivät olleet yhtä suuria kuin eri kansallisuuksien joukko.

Miksi tarvitset hermoverkkoa?

Miten tämä tekniikka voi olla hyödyllinentulevaisuudessa? Vaihtoehtoisesti sen avulla voidaan joskus luoda palvelu, jossa käyttäjän virtuaalinen avatar luodaan automaattisesti äänensä perusteella. Uudella tutkimuksella on myös suuria tieteellisiä etuja - tutkittuaan tiedot tutkijat voivat löytää suhdetta henkilön ulkonäön ja äänensä välillä. Voit kuunnella ääniä ja katsoa, ​​mitä muotokuvia uudelleen perustettiin hankkeen verkkosivuilla.

Mitä tällaisen hermoverkon soveltamista voit ajatella? Jaa rohkeita oletuksiasi kommenteissa ja liity keskusteluun Telegram-keskustelussa.