technologie

Een medewerker van Netflix heeft een neuraal netwerk gemaakt voor het zoeken naar kusjes in films.

Computervisie is bijna perfect.herkent objecten in statische afbeeldingen en op dit moment treden problemen voornamelijk alleen op bij video's. Desondanks blijven ontwikkelaars neurale netwerken maken voor het herkennen van verschillende acties op video, en een van de laatste en meest interessante projecten is het werk van Netflix-medewerker Amir Ziyah. Met behulp van een basis van 100 Hollywood-films trainde hij het neurale netwerk om scènes met kussen te herkennen, terwijl hij overdreven expliciete scènes vermeed.

Het neurale netwerk herkent kusjes, focussenop de bewegingen van de lippen van de acteurs en de geluiden van aanraking. Om het neurale netwerk te tonen waar ze aandacht aan moest schenken, markeerde Amir Ziay persoonlijk scènes met zoenen in een staal van honderden Hollywood-films. Onder de films die hij verwerkte waren Anna Karenina (1935), Ghost (1990) en Casino Royal (2006). De ontwikkelaar breidde de basis van educatieve films niet uit, omdat het neurale netwerk stopte met "wijzer worden" na de tachtigste film. Uiteindelijk selecteerde Amir 263 scènes met kusjes en 363 scènes zonder kussen.

Neuraal netwerk heeft geleerd om kussen te herkennen.

Het gecreëerde systeem van herkenning van kussen bestaatin twee delen. De eerste analyseert de één-seconden videofragmenten en wordt de binaire classifier genoemd - het omvat het convolutionele ResNet neurale netwerk voor het analyseren van visuele gegevens, en het VGG neurale netwerk voor het bestuderen van audio. Het tweede deel van het systeem, de segmenter, selecteert de fragmenten met kussen en geeft deze weer zodat ze niet herhaald worden.

Nadat het een videoclip heeft ontvangen, onderzoekt het systeem hetde aanwezigheid van scènes met kussen en geeft ze in de vorm van passages. Testen heeft aangetoond dat het neurale netwerk zijn werk doet met een nauwkeurigheid van 95%. Er is echter waargenomen dat het systeem vaak een fout maakt in sommige scènes waarbij kussen optreedt tegen een achtergrond van uitgestrekte landschappen, of waar kussen te snel voorkomen.

Waarom hebben we zo'n neuraal netwerk nodig?

Hoewel Amir Ziay een Netflix-medewerker is,hij creëerde een neuraal netwerk heeft geen relatie met de dienst. En tevergeefs - de functie van herkenning van kussen kan erg nuttig zijn in streamingdiensten, maar ook op Facebook, Instagram en TikTok. Door het algoritme enigszins aan te passen, kunt u minimaal een systeem maken om onnodig expliciete scènes te sorteren. Ook kan een dergelijk systeem automatisch video's sorteren op thematische mappen.

Wat betreft neurale netwerken, raden we aan erover te lezenmogelijkheden om statische portretten nieuw leven in te blazen. Dankzij het werk van specialisten van het Samsung Center for Artificial Intelligence zijn de portretten van Dostojevski, Mona Lisa en Albert Einstein letterlijk tot leven gekomen - je kunt ze in ons materiaal zien.

Om dit te bespreken, en andere onderwerpen van wetenschap en technologie, is het mogelijk in onze Telegram-chat. Naast interessante gesprekspartners vindt u hier aankondigingen van verse materialen van onze site!