Netflixov zaposlenik stvorio je neuronsku mrežu za traženje poljubaca u filmovima.

Računalni vid je gotovo savršen.prepoznaje objekte u statičnim slikama, a trenutno se problemi uglavnom javljaju samo s videozapisima. Ipak, programeri nastavljaju stvarati neuronske mreže za prepoznavanje različitih akcija na videu, a jedan od posljednjih i najzanimljivijih projekata je rad Netflixovog zaposlenika Amira Ziyaha. Koristeći bazu od 100 holivudskih filmova, trenirao je neuronsku mrežu da prepozna prizore s poljupcima, izbjegavajući pritom preterano eksplicitne scene.

Neuralna mreža prepoznaje poljupce, fokusirajući sena pokretima usana glumaca i zvukovima dodira. Da bi pokazao neuronskoj mreži na što treba obratiti pozornost, Amir Ziay je osobno obilježio scene s poljupcima na uzorku stotina holivudskih filmova. Među filmovima koje je obrađivao su Anna Karenina (1935.), Ghost (1990.) i Casino Royal (2006.). Programer nije proširio bazu obrazovnih filmova, jer je neuronska mreža prestala "mudrije" nakon osamdesetog filma. Na kraju, Amir je izdvojio 263 scene s poljupcima i 363 scene bez poljubaca.

Neuronska mreža je naučila prepoznati poljupce.

Stvoreni sustav prepoznavanja poljubaca sastoji seu dva dijela. Prva analizira fragmente videa od jedne sekunde i naziva se binarni klasifikator - uključuje konvolucijsku ResNet neuronsku mrežu za analizu vizualnih podataka i VGG neuronsku mrežu za proučavanje zvuka. Drugi dio sustava, segmenter, odabire fragmente s poljupcima i daje ih tako da se ne ponavljaju.

Nakon što je primio videoisječak, sustav ga proučavaprisutnost prizora s poljupcima i daje ih u obliku prolaza. Testiranje je pokazalo da neuronska mreža radi svoj posao s 95% točnosti. Međutim, uočeno je da sustav često pravi pogrešku u nekim scenama gdje se poljupci događaju na pozadini golemih krajolika, ili gdje se poljupci događaju prebrzo.

Zašto nam je potrebna takva neuronska mreža?

Iako je Amir Ziay zaposlenik Netflixa,stvorio je neuronsku mrežu koja nema veze s uslugom. I uzalud - funkcija prepoznavanja poljubaca može biti vrlo korisna u streaming uslugama, kao i na Facebooku, Instagramu i TikToku. U najmanju ruku, laganom promjenom algoritma možete stvoriti sustav za sortiranje nepotrebno eksplicitnih scena. Takav sustav može automatski sortirati videozapise po tematskim mapama.

Na temu neuronskih mreža preporučujemo čitanje o njojmogućnosti za oživljavanje statičkih portreta. Zahvaljujući radu stručnjaka iz Samsung Centra za umjetnu inteligenciju, portreti Dostojevskog, Mona Lise i Alberta Einsteina doslovno su oživjeli - možete ih vidjeti u našem materijalu.

Da bismo razgovarali o tome i drugim temama znanosti i tehnologije, to je moguće u našem telegramu. Osim zanimljivih sugovornika, tu ćete naći i obavijesti o svježim materijalima s naše stranice!