Служител на Netflix създаде невронна мрежа за търсене на целувки във филмите.

Компютърното зрение е почти перфектно.разпознава обекти в статични изображения и в момента проблеми възникват само с видеоклипове. Въпреки това, разработчиците продължават да създават невронни мрежи за разпознаване на различни действия на видео, а един от последните и най-интересни проекти е работата на Netflix служител Амир Зия. Използвайки база от 100 холивудски филми, той обучава невронната мрежа да разпознава сцени с целувки, като същевременно избягва прекалено явни сцени.

Невронната мрежа разпознава целувките, фокусирайки севърху движенията на устните на актьорите и звуците на допир. За да покаже на невронната мрежа това, на което трябва да обърне внимание, Амир Зий лично отбеляза сцени с целувки в извадка от стотици холивудски филми. Сред филмите, които той обработваше, бяха Анна Каренина (1935), Дух (1990) и Казино Роял (2006). Разработчикът не разширява базата на образователните филми, защото невронната мрежа спира да „става по-мъдър“ след осемдесетия филм. В крайна сметка, Амир открои 263 сцени с целувки и 363 сцени без целувки.

Невронната мрежа се е научила да разпознава целувките.

Създава се система за разпознаване на целувкина две части. Първият анализира едносекундните видео фрагменти и се нарича двоичен класификатор - включва конволюционната ResNet невронна мрежа за анализиране на визуални данни и VGG невронната мрежа за изучаване на аудио. Втората част на системата, сегментаторът, избира фрагментите с целувки и ги дава, така че да не се повтарят.

След като получи видеоклип, системата го изучаваприсъствието на сцени с целувки и ги дава под формата на пасажи. Тестването показва, че невронната мрежа върши работата си с 95% точност. Наблюдавано е обаче, че системата често прави грешка в някои сцени, където целувките се случват на фона на обширни пейзажи или където целувките се случват твърде бързо.

Защо имаме нужда от такава невронна мрежа?

Въпреки че Амир Зий е служител на Netflix,той създава невронна мрежа, която няма връзка с услугата. И напразно - функцията за разпознаване на целувки може да бъде много полезна както в услугите за стрийминг, така и във Facebook, Instagram и TikTok. Като минимум, чрез лека промяна на алгоритъма, можете да създадете система за сортиране на ненужно експресирани сцени. Също така, такава система може автоматично да сортира видео по тематични папки.

По отношение на невронните мрежи препоръчваме да прочетете за неговъзможности за съживяване на статични портрети. Благодарение на работата на специалисти от Центъра за изкуствен интелект на Samsung, портретите на Достоевски, Мона Лиза и Алберт Айнщайн буквално оживяват - можете да ги видите в нашия материал.

За да обсъдим това и други теми на науката и технологиите, е възможно в нашия чат за телеграма. В допълнение към интересни събеседници, там ще намерите обяви за пресни материали от нашия сайт!