yleinen

Mitä hyötyjä hermoverkoilla voi olla elokuville, videopeleille ja virtuaalitodellisuudelle?

Kehittämällä hermoverkkoja ja koneitaoppiminen, niiden laajentaminen ja soveltamisala. Jos aikaisempia hermoverkkoja käytettiin yksinomaan monimutkaisten matemaattisten, lääketieteellisten, fyysisten, biologisten laskelmien ja ennusteiden toteuttamiseen, nyt nämä tekniikat ovat saaneet laajaa suosioa ”maallisemmassa” ympäristössä - viihteen alalla. Ottaen vain ensimmäiset askeleet tähän suuntaan, he pystyvät jo osoittamaan hämmästyttäviä ja joskus jopa erinomaisia ​​tuloksia. Tänään analysoimme useita havainnollisia esimerkkejä.

Videon uudelleenjärjestelyprosessi on niin monimutkainen jaaikaa vievää, että monet maailman klassikkojen mestariteoksista eivät todennäköisesti olisi nähneet uutta, modernia, selkeää ja mehukasta kuvaa. Maailma on kuitenkin täynnä älykkäitä faneja ja harrastajia, jotka ovat hyvin perehtyneitä uusiin teknologioihin ja erityisesti hermoverkkoihin ja koneen oppimismenetelmiin, joiden avulla voit saavuttaa uskomattomia tuloksia myös kotona. Esimerkiksi YouTube-käyttäjä Stefan Rumen, jolla on salanimi CaptRobau, päätti näyttää joitakin hermoverkkojen ominaisuuksia vanhan fantastisen sarjan videoprosessissa.

Hänen aikaisempi työ on Remako Mod -"HD remake" on klassinen ja erittäin suosittu japanilainen RPG Final Fantasy VII. Tätä varten hän käytti AI Gigapixel AI -algoritmia, jonka avulla hän pystyi skaalauttamaan alkuperäisen kuvan kuvan 4 kertaa, siirtämällä sen HD-resoluutioon ilman merkittäviä muutoksia alkuperäiseen taideteokseen. Niinpä, kun odotat seuraavaa vuosikymmentä siihen asti, kun japanilainen tietokonepelien kehittäjä ja kustantaja Square Enix julkaisee virallisesti remasterin, ehkä yhden tämän sarjan parhaista osista, voit kokeilla Stefan Rumen -mallia itse lataamalla sen tästä sivustosta.

</ p>

Muuten, äskettäin hermoverkkojen teknologiavanhojen pelien uudelleenkäsittelyyn ja nykyisten ja nykyaikaisempien ilmiöiden tuomiseen muuttamatta alkuperäistä konseptia on tullut todellinen trendi eri modderien keskuudessa. Esimerkiksi ei niin kauan sitten puhuimme ESRGAN-tekniikasta (Enhanced Super Resolution Generative Adversarial Networks), jonka avulla toteutetaan kuvan skaalaustekniikoita, joiden laatu on noussut 2–8-kertaiseksi. Algoritmi "syötetään" alkuperäisen matalan resoluution kuvaan, jonka jälkeen se ei ainoastaan ​​lisää jälkimmäisen alkuperäistä resoluutiota, vaan myös parantaa kuvan laatua maalaamalla realistisia yksityiskohtia ja tekemällä kuvioita "luonnollisemmiksi".

Tekstuurin laadun vertailu: vasemmalla pelin Morrowindin alkuperäinen rakenne oikealla puolella - hermoverkon käsittelemänä

Merkin Doomista (vasemmalla - se oli, oikealla - tuli)

Resident Evil 3: n taustakäsittely

Lue tarkemmin ja katso esimerkkejä napsauttamalla tätä linkkiä.

Joka tapauksessa, välilläRemastered Seitsemäs finaali Stefan Rumen päätti aloittaa toisen projektin - käyttäen samaa koneen oppimisteknologiaa, mutta jo nyt 90-luvun klassisen tiede-sarjan kehyksiä. Rumen valitsi Star Trek: Deep Space Nine -kohdan kokeilun kohteena.

TV-sarja ”live image”monimutkaisuus on hyvin erilainen kuin tekijän muistiinpanojen Final Fantasy VII: n ennalta renderoidun kuvan skaalaaminen, joten lopputulos näyttää paljon paremmalta kuin alkuperäiset materiaalit matalalla resoluutiolla, mutta tämä kuva on vielä kaukana ideasta, josta olisit voinut unelmoida siitä ensimmäisten blu-ray-soittimien markkinoille. Toisinaan näytöllä näkyy pieniä ”esineitä”. Mutta jälleen kerran, kaikki näyttää enemmän kuin arvoinen. Ja yleensä katso itse.

</ p>

Rumen käytti myös tätä projektiaAI Gigapixel -algoritmi, joka koulutettiin kuvien muokkaamiseen todellisten valokuvien perusteella. Kirjoittaja toteaa, että uusi kuva on saatu 1080p: n ja 4 k: n muodossa, mutta koska Rumenilla ei ole TV: tä tai monitoria, jolla on natiivi 4K-resoluutio, hän ei voi arvioida riittävän hyvin 4K-versiota.

</ p>

Valitettavasti katso koko sarja kokonaisuudessaanHD-laatu on mahdotonta. Koko lähdemateriaalin käsittely kestää hyvin kauan, joten Rumen käytti vain erillisiä kehyksiä eri sarjoista esittelyyn. Hänen mukaansa hän otti tämän projektin käyttöön vain yhdestä syystä - osoittaa, että tämä on todellakin mahdollista. Hänen mielestään koko suuri televisioyhtiössä työskentelevä ammattilaisten ryhmä, jolla on käytettävissään sopivampi ja tehokkaampi tietokonelaitteisto tällaiselle työlle, pystyy selviytymään tästä tehtävästä paljon paremmin.

Käyttämällä hermoverkkoja yksinkertaistamaan työtäVanhojen kuvien käsittely videopeleistä ja elokuvista ei ole ainoa alue, jolla tällaiset tekniikat pystyvät näyttämään kykyjään. Modernissa maailmassa, jossa panoraamakamerat, jotka pystyvät tuottamaan 360 astetta, sekä virtuaalitodellisuuskuulokkeet ovat yhä suositumpia, kehittäjät ovat alkaneet aktiivisesti tutkia panoraamakuvan mahdollisuuksia.

Yksi viimeisimmistä kehityksistä tähän suuntaanon hermoverkko, joka kykenee artikuloimaan staattisia panoraamakuvia. Sen tekijät ovat koneopiskelijoita Massachusettsin yliopistosta, Columbian yliopistoista ja George Masonin yliopistosta.

Luotu algoritmi määrittää ympäristön tyypin jaKuvassa olevat kohteet valitaan ja valitaan ja asetetaan ääniä tietokannasta käytettynä niiden lähteiden välisen etäisyyden tilavuuden mukaan tässä kuvassa. Tämän panoraamakuvan ansiosta saavutetaan realistinen ja surround-ääni, jonka avulla voit arvioida esitetyn kuvan täysin uudella tavalla.

</ p>

Tämän hermoverkon kehittäjien mukaanTeknologia voi löytää kiinnostusta VR-sisällön (elokuvien ja pelien) kehittäjien keskuudessa. Jälkimmäisen ei tässä tapauksessa tarvitse asettaa kaikkia ääniä panoraamakuvassa manuaalisesti, hermoverkko pystyy tekemään kaiken tämän yksin.

Tilaa Yandex. Siellä löydät materiaaleja, joita ei ole julkaistu sivustolla.

Facebook -ilmoitus EU: lle! Sinun täytyy kirjautua sisään nähdäksesi ja julkaistaksesi FB -kommentteja!