Hvilke fordele kan neurale netværk have til biograf, videospil og virtuel virkelighed?

Med udviklingen af ​​neurale netværk og maskinelæring, udvidelse og omfanget af deres ansøgning. Hvis tidligere neurale netværk udelukkende blev brugt til at udføre komplekse matematiske, medicinske, fysiske, biologiske beregninger og prognoser, er disse teknologier nu blevet meget populære i et mere "dagligdags" miljø - under underholdning. Kun de første trin i denne retning er de allerede i stand til at demonstrere fantastiske og nogle gange endda fremragende resultater. I dag analyserer vi flere illustrative eksempler.

Video remastering processen er så kompleks ogtidskrævende at mange af de mesterværker af verdensklassikere, ville vi sandsynligvis ikke have set med et nyt, moderne, klart og saftigt billede. Imidlertid er verden fuld af intelligente fans og entusiaster, der er velbevandret i nye teknologier, og især neurale netværk og maskinteknologi, som du kan opnå fantastiske resultater selv hjemme. For eksempel besluttede YouTube-bruger Stefan Rumen med pseudonymet CaptRobau at demonstrere nogle af de evner, neurale netværk har i videobehandling af en gammel fantastisk serie.

Hans tidligere arbejde er Remako Mod -"HD remake" af den klassiske og meget populære japanske RPG Final Fantasy VII kaldet. Til dette brugte han AI-Gigapixel AI-algoritmen, som han kunne scaltere billedet af det oprindelige billede 4 gange og overførte det til HD-opløsning uden nogen væsentlige ændringer i det originale kunstdesign. Således, mens du venter på det næste årti indtil det øjeblik, hvor den japanske udvikler og udgiver af computerspil Square Enix officielt udgiver remasteren, måske en af ​​de bedste dele af denne spilserie, kan du prøve Stefan Rumen mod dig selv ved at downloade det fra dette websted.

</ p>

Af den måde, for nylig teknologien af ​​neurale netværktil remastering af gamle spil og bringe dem til et mere aktuelt og moderne udseende uden at ændre det overordnede originale koncept er blevet en reel trend blandt forskellige moddere. For eksempel har vi ikke for længe siden talt om ESRGAN-teknologien (Enhanced Super Resolution Generative Adversarial Networks), hvorved billedskaleringsteknologier med en 2-8-foldig kvalitetsforøgelse implementeres. Algoritmen er "fodret" med det originale lavopløsningsbillede, hvorefter det ikke kun øger den oprindelige opløsning af sidstnævnte, men forbedrer også billedkvaliteten ved at male realistiske detaljer og gøre teksturerne mere naturlige.

Sammenligning af teksturkvalitet: Til venstre er den originale tekstur fra spillet Morrowind til højre - behandlet af det neurale netværk

Tegn fra Doom (til venstre - det var til højre - det blev)

Resident Evil 3 baggrundsbehandling

Læs mere detaljeret og se eksempler ved at klikke på dette link.

Anyway, in betweenRemastered Den syvende finale Stefan Rumen besluttede at starte et andet projekt - ved hjælp af samme maskinindlæringsteknologi, men allerede til behandling af rammer af den klassiske science fiction-serie på 90'erne. Rumen valgte Star Trek: Deep Space Nine som et objekt til eksperimentering.

Scale TV-serie "live image"kompleksiteten er meget forskellig fra at scaltere et pre-rendered image af Final Fantasy VII, forfatterens notater, så det endelige resultat ser meget bedre ud end de originale materialer i lav opløsning, men dette billede er stadig langt fra det ideal, du kunne have drømt om siden markedet for de første blu-ray-afspillere. Af og til vises små "artefakter" på skærmen. Men igen, generelt ser alt mere end værdigt ud. Og generelt se for dig selv.

</ p>

Rumen bruges også til dette projektAI Gigapixel algoritme, som blev uddannet i redigering af billeder baseret på rigtige billeder. Forfatteren bemærker, at det nye billede blev opnået i 1080p og 4k format, men da Rumen ikke har et tv eller en skærm med en indfødt 4K-opløsning, kan han ikke evaluere 4K-versionen tilstrækkeligt.

</ p>

Desværre, se hele serien i FullHD-kvalitet er umulig. Behandlingen af ​​hele kildematerialet ville tage meget lang tid, så Rumen brugte kun separate rammer fra forskellige serier til demonstrationen. Ifølge ham indledte han kun dette projekt af en enkelt årsag - for at vise, at dette faktisk er muligt. Efter hans opfattelse vil et helt team af fagfolk, der arbejder i et stort fjernsynsfirma og have mere egnet og kraftigt edb-udstyr til dette arbejde, kunne klare denne opgave meget bedre.

Brug af neurale netværk for at forenkle arbejdetBehandlingen af ​​gamle billeder fra videospil og film er ikke det eneste område, hvor sådanne teknologier kan vise deres talenter. I den moderne verden, hvor panorama-panorama kameraer, der er i stand til at producere 360 ​​grader, samt virtuelle virkelighed headsets, bliver mere og mere populære, har udviklere begyndt at aktivt undersøge potentialet ved panoramaoptagelse.

En af de seneste udviklinger i denne retninger et neuralt netværk, der er i stand til at artikulere panoramiske statiske billeder. Dens forfattere er maskinlæringsspecialister fra University of Massachusetts, Columbia Universities og George Mason University.

Den oprettede algoritme bestemmer typen af ​​miljø ogobjekter på fotografiet og vælger og arrangerer derefter lyde fra databasen under brug i overensstemmelse med den rumlige beregning af afstanden til deres kilder i dette billede. Takket være dette panoramabillede opnår vi realistisk og surround sound, så du kan evaluere det præsenterede billede fuldstændigt på en helt ny måde.

</ p>

Ifølge udviklerne af dette neurale netværk,Teknologien kan finde interesse blandt udviklere af VR-indhold (film og spil). Sidstnævnte i dette tilfælde behøver ikke at pålægge alle lyde på panoramabilledet manuelt, det neurale netværk vil være i stand til at gøre alt dette alene.

Abonner på vores Yandex. Dzen. Der kan du finde materialer, der ikke offentliggøres på hjemmesiden.