Facebooks neurale netværk tillades at kontrollere bevægelser af mennesker skudt på video

Neurale netværk ved allerede, hvordan man opretter ansigterikke-eksisterende mennesker og endda forbedre kvaliteten af ​​videoen. Teknologien fortsætter med at udvikle sig og meget hurtigt - det syntes umuligt, men fra nu af kan folk skudt på video styres ved hjælp af et computer tastatur. Dette blev gjort mulig ved arbejdet i Facebook AI Research Development Team, som uddannede det neurale netværk til at genkende en bevægende person i en video, ændre baggrundsbilledet og styre dets bevægelser. Dette er et must see - godt, udviklerne udviklede en detaljeret video.

Baseret på teknologi opfundet af udviklereFra Facebook er der to neurale netværksalgoritmer - Pose2Pose og Pose2Frame til overførsel af objekter fra en video til en anden. De brugte også DensePose-algoritmen, som omdanner et todimensionalt billede af en person, der er filmet på en video, til en tredimensionel model.

Så for at gøre en almindelig video tilcomputerspil, skaber DensePose-algoritmen en 3D-model af en bestemt person. Dernæst ændrer Pose2Pose-algoritmen optagelsen med animation fra en bevægende person til en video med en sort baggrund. Allerede på dette stadium er det neurale netværk i stand til at opfatte tastetryk på tastaturet og flytte "spil karakter" i den rigtige retning. Endelig skaber Pose2Frame-algoritmen det endelige billede med en bevægende person og den tilsvarende animation.

Andre eksempler på arbejde er også synlige på videoen.neurale netværk. Selvfølgelig kan du se mange billedgenstande på dem, men det faktum at du kan styre en person fra en video er meget imponerende. Det er sandsynligt, at denne teknologi vil blive brugt i spilbranchen - hvor nyttige neurale netværk er inden for spil og biograf, læs vores specielle materiale.

Har det nye neurale netværk fra Facebook imponeret på dig? Du er velkommen til at dele din mening i kommentarerne eller i vores telegram-chat.