Teknologi

En Netflix-medarbejder skabte et neuralt netværk for at søge efter kys i film.

Computer vision er næsten perfekt.genkender objekter i statiske billeder, og i øjeblikket opstår der først og fremmest problemer med videoer. Ikke desto mindre udviklere fortsætter med at oprette neurale netværk for at anerkende forskellige handlinger på video, og et af de sidste og mest interessante projekter er arbejdet hos Netflix-medarbejderen Amir Ziyah. Ved hjælp af en base på 100 Hollywood-film uddannede han det neurale netværk for at genkende scener med kys, samtidig med at man undgik alt for eksplicitte scener.

Det neurale netværk genkender kys, der fokusererpå bevægelser af aktørernes læber og lydens lyde. For at vise det neurale netværk, hvad hun skal være opmærksom på, Amir Ziay personligt markerede scener med kys i en prøve af hundredvis af Hollywood-film. Blandt de film, han forarbejdede, var Anna Karenina (1935), Ghost (1990) og Casino Royal (2006). Udvikleren har ikke udvidet basen af ​​pædagogiske film, fordi det neurale netværk stoppede "at blive klogere" efter den ottende film. Til sidst udpegede Amir 263 scener med kys og 363 scener uden kys.

Neurale netværk har lært at genkende kys.

Det skabte system for anerkendelse af kys består afi to dele. Den første analyserer de et sekunds videofragmenter og kaldes den binære klassifikator - den indeholder det convolutionale ResNet neurale netværk til analyse af visuelle data og VGG neurale netværk for at studere lyd. Den anden del af systemet, segmenteren, vælger fragmenterne med kys og giver dem ud, så de ikke gentager.

Efter at have modtaget et videoklip, undersøger systemet detTilstedeværelsen af ​​scener med kys og giver dem i form af passager. Test har vist, at det neurale netværk gør sit job med 95% nøjagtighed. Det er imidlertid blevet observeret, at systemet ofte begår en fejl i nogle scener, hvor kys forekommer mod en baggrund af store landskaber, eller hvor kys forekommer for hurtigt.

Hvorfor har vi brug for et sådant neuralt netværk?

Selv om Amir Ziay er en Netflix-medarbejder,han skabte et neuralt netværk har ingen relation til tjenesten. Og forgæves - kan genkendelsen af ​​kys være meget nyttig i streaming-tjenester, såvel som på Facebook, Instagram og TikTok. I det mindste ved at ændre algoritmen lidt, kan du oprette et system til sortering af unødigt eksplicitte scener. Et sådant system kan også automatisk sortere videoer ved hjælp af tematiske mapper.

Hvad angår neurale netværk anbefaler vi at læse om detmuligheder for at genoplive statiske portrætter. Takket være arbejdet med specialister fra Samsung Center for Artificial Intelligence er portrætterne fra Dostoevsky, Mona Lisa og Albert Einstein bogstaveligt talt kommet til liv - du kan se dem i vores materiale.

For at diskutere dette og andre emner inden for videnskab og teknologi er det muligt i vores telegram-chat. Udover interessante samtalepartnere finder du meddelelser om friske materialer fra vores hjemmeside!