technologie

Neuraal netwerk hoorde de stemmen van mensen en schilderde hun portretten

Onlangs zijn neurale netwerken verrassend geweestMet vaardigheden - zou je tien jaar geleden kunnen geloven dat een computer portretten van Dostojevski en Marilyn Monroe kan "doen herleven"? Maak je op om nog meer verrast te worden, want onderzoekers van het Massachusetts Institute of Technology hebben het Speech2Face neurale netwerk gemaakt, dat in staat is om portretten van mensen te maken door gewoon naar hun stemmen te luisteren. De technologie is nog verre van ideaal, maar het vermogen ervan om het geslacht, de nationaliteit en de leeftijd van een persoon te bepalen, is indrukwekkend.

Voor het trainen van het neurale netwerk, een set vanAVSpeech met miljoenen korte video's met duizenden sprekende mensen. De tracks met video en geluid zijn gescheiden, zodat het systeem elk type materiaal zo gedetailleerd mogelijk kon bestuderen. In de eerste fase van het werk bestudeerde het VGG-Face-algoritme videofragmenten en creëerde portretten van mensen die erop stonden met een volledig gezichtsuitdrukking en neutrale gezichtsuitdrukking. Een ander deel van het algoritme bestudeerde het spectrogram van de stem en toegevoegde wijzigingen bovenop de ontvangen portretten - als een resultaat kregen we een benaderend portret van elke persoon die praatte.

Het neurale netwerk voor het maken van op stem gebaseerde portretten is al een realiteit

Als u het gezicht van een persoon vergelijkt met een video envoorgesteld door de algoritmeoptie, kunt u veel verschillen vinden. De onderzoekers beweren echter dat ze aanvankelijk niet het meest vergelijkbare portret van een persoon wilden maken - veel factoren beïnvloeden de toon en intonatie van de menselijke stem, zodat ze niet het perfecte resultaat zouden krijgen. Maar het neurale netwerk gaat ermee om dat het belangrijk is voor onderzoekers, namelijk met de exacte definitie van geslacht, nationaliteit en leeftijd.

De auteurs van het werk merkten dat op dit momentHet algoritme is zwak in het bepalen van de leeftijd, maar ze hebben het vermogen om de nauwkeurigheid te vergroten. Er werd ook vastgesteld dat het algoritme mensen met Europees en Aziatisch uiterlijk beter opnieuw creëert, maar dit komt alleen maar omdat de trainingsvideo's niet hetzelfde aantal mensen van verschillende nationaliteiten waren.

Waarom heb je een neuraal netwerk nodig?

Hoe kan deze technologie nuttig zijn inde toekomst? Als een optie, met de hulp van het soms een dienst kan worden gemaakt, waar de virtuele avatar van een gebruiker automatisch wordt gemaakt, op basis van zijn stem. Nieuw onderzoek heeft ook grote wetenschappelijke voordelen: wetenschappers hebben de gegevens bestudeerd en kunnen de relatie tussen iemands uiterlijk en zijn stem vinden. Je kunt naar de stemmen luisteren en de portretten bekijken die op basis van de projectwebsite zijn gemaakt.

Welke toepassing van een dergelijk neuraal netwerk kan je bedenken? Deel uw gewaagde aannames in de opmerkingen en neem deel aan het gesprek in onze Telegram-chat.