Нейросеть Facebook дозволила управляти рухами людей, знятих на відео

Нейронні мережі вже вміють створювати особинеіснуючих людей і навіть покращувати якість відео. Технологія продовжує розвиватися, причому вкрай стрімко - це здавалося неможливим, але відтепер знятими на відео людьми можна управляти за допомогою клавіатури комп'ютера. Це стало можливим завдяки праці команди розробників Facebook AI Research, які навчили нейронну мережу розпізнавати рухомого людини на відео, змінювати фонове зображення і контролювати його рухи. Це треба бачити - благо, розробники поділилися докладним відеороликом.

На основі технології, придуманої розробникамиз Facebook, лежать два нейромережевих алгоритму - Pose2Pose і Pose2Frame для перенесення об'єктів з одного відео в інше. Також вони задіяли алгоритм DensePose, який перетворює двовимірне зображення знятого на відео людини в тривимірну модель.

Отже, щоб перетворити звичайне відео вкомп'ютерну гру, алгоритм DensePose створює 3D-модель певної людини. Далі алгоритм Pose2Pose перетворює запис з анімацією рухається людини в відеоролик з чорним фоном. Уже на цьому етапі нейронна мережа здатна сприймати натискання на клавіатуру і рухати «ігрового персонажа» в потрібну сторону. Нарешті, алгоритм Pose2Frame створює кінцеве зображення з рухомим людиною та відповідної анімацією.

На відео також видно інші приклади роботинейронної мережі. Звичайно, на них можна помітити безліч артефактів зображення, але сам факт можливості керувати людиною з відео дуже вражає. Ймовірно, що цієї технології знайдеться застосування в ігровій індустрії - про те, наскільки корисні нейронні мережі в сфері ігр та кіно, читайте в нашому спеціальному матеріалі.

Вразила чи вас нова нейронна мережа від Facebook? Своєю думкою сміливо діліться в коментарях, або ж в нашому Telegram-чаті.