טכנולוגיה

עובד נטפליקס יצר רשת עצבית בחיפוש אחר נשיקות בסרטים.

ראיית מחשב היא כמעט מושלמת.מזהה אובייקטים בתמונות סטטיות, וברגע זה הבעיות מתעוררות בעיקר רק עם קטעי וידאו. עם זאת, מפתחים ממשיכים ליצור רשתות עצביות להכרה בפעולות שונות בווידאו, ואחד הפרויקטים האחרונים והמעניינים ביותר הוא עבודתו של עובד נטפליקס אמיר זיא. באמצעות בסיס של 100 סרטים הוליוודיים, הוא אימן את הרשת העצבית לזהות סצינות עם נשיקות, תוך הימנעות סצנות מפורשות מדי.

הרשת העצבית מזהה נשיקות, מתמקדתעל תנועות שפתי השחקנים וקולות המגע. כדי להראות לרשת העצבים מה כדאי לשים לב אליה, אמיר זיאיי סימנה אישית סצינות עם נשיקות במדגם של מאות סרטים הוליוודיים. בין הסרטים שעבד היו אנה קרנינה (1935), Ghost (1990) וקזינו רויאל (2006). היזם לא הרחיב את בסיס הסרטים החינוכיים, משום שהרשת העצבית הפסיקה "להחלים" אחרי הסרט השמונים. לבסוף פירט אמיר 263 סצינות עם נשיקות ו -363 סצינות בלי נשיקות.

רשת עצבית למדה לזהות נשיקות.

המערכת שנוצרה של הכרה בנשיקות מורכבתבשני חלקים. הראשון מנתח את שברי וידאו שנייה אחת והוא נקרא מסווג בינארי - הוא כולל את הרשת העצבית ResNet Resolet לניתוח נתונים חזותיים, ואת הרשת העצבית VGG ללימוד אודיו. החלק השני של המערכת, פילוח, בוחר את שברי עם נשיקות ונותן להם החוצה, כך שהם לא חוזרים.

לאחר שקיבל וידאו קליפ, המערכת בוחנת את זהנוכחות של הקלעים עם נשיקות ונותן להם בצורה של מעברים. בדיקות הראו כי הרשת העצבית עושה את עבודתה עם דיוק 95%. עם זאת, נצפתה כי לעתים קרובות המערכת עושה טעות בכמה סצינות שבו נשיקות להתרחש על רקע של נופים רחבי ידיים, או היכן נשיקות להתרחש מהר מדי.

למה אנחנו צריכים רשת עצבית כזאת?

למרות שעמיר זאי הוא עובד של נטפליקס,הוא יצר רשת עצבית אין קשר לשירות. לשווא - את הפונקציה של הכרה בנשיקות יכול להיות מאוד שימושי שירותי הזרמת, כמו גם בפייסבוק, Instagram ו TikTok. לכל הפחות, על ידי שינוי קל באלגוריתם, ניתן ליצור מערכת למיון סצנות מפורשות שלא לצורך. כמו כן, מערכת כזו יכולה אוטומטית מיון קטעי וידאו לפי תיקיות נושאיות.

בנושא רשתות עצביות, אנו ממליצים לקרוא על זההזדמנויות להחיות דיוקנאות סטטיים. הודות לעבודתם של מומחים ממרכז סמסונג לבינה מלאכותית, דיוקנאותיהם של דוסטוייבסקי, מונה ליזה ואלברט איינשטיין מתעוררים לחיים - אפשר לראות אותם בחומר שלנו.

כדי לדון בזה, ונושאים אחרים של מדע וטכנולוגיה, זה אפשרי ב telegram שלנו צ 'אט. בנוסף לבני שיח מעניינים, שם תמצאו הודעות של חומרים טריים מהאתר שלנו!