általános

Milyen előnyökkel járhat a neurális hálózatok a mozi, videojátékok és a virtuális valóság számára?

A technológiai neurális hálózatok és a gép fejlesztéséveltanulás, alkalmazás bővítése és terjedelme. Ha a korábbi neurális hálózatokat kizárólag komplex matematikai, orvosi, fizikai, biológiai számítások és előrejelzések elvégzésére használták fel, akkor ezek a technológiák egyre népszerűbbek egy „mindennaposabb” környezetben - szórakozásban. Már csak az első lépéseket tették az irányba, és már képesek lenyűgöző és néha még kiemelkedő eredményeket is kimutatni. Ma több szemléltető példát elemezünk.

A videó-átdolgozás folyamata olyan összetett ésidőigényes, hogy a világ klasszikusainak számos remekműve, valószínűleg nem láttunk volna egy új, modern, világos és lédús képet. A világ azonban tele van intelligens rajongókkal és rajongókkal, akik jól ismerik az új technológiákat, különösen a neurális hálózatokat és a gépi tanulási technológiákat, amellyel még otthon is elképesztő eredményeket érhetünk el. Például, a YouTube felhasználó, Stefan Rumen, a CaptRobau álnévvel úgy döntött, hogy bemutatja a neurális hálózatok néhány képességét egy régi fantasztikus sorozat videóinak feldolgozásában.

Korábbi munkája Remako Mod -A klasszikus és nagyon népszerű japán RPG Final Fantasy VII „HD remake” -je. Ehhez használta az AI Gigapixel AI algoritmust, amellyel 4-szer képes volt az eredeti kép képét átméretezni a HD felbontásra, anélkül, hogy jelentős változások történtek az eredeti művészetben. Így amíg a következő évtizedre vár, amíg a Square Enix japán fejlesztője és kiadója számítógépes játékokkal hivatalosan is kiadja a remasteret, talán a játéksorozat egyik legjobb részévé válhat, próbálja ki magát a Stefan Rumen mod-ból, ha letölti a webhelyről.

</ p>

Egyébként, a közelmúltban a neurális hálózatok technológiájaa régi játékok újraszervezéséhez és az aktuálisabb és modernebb megjelenéshez, anélkül, hogy megváltoztatnánk az eredeti koncepciót, a mododelovok között valódi trend lett. Például nem olyan régen beszéltünk az ESRGAN technológiáról (Enhanced Super Resolution Generative Adversarial Networks), amelynek segítségével 2-8-szoros képminőség-növelő technológiákat alkalmaznak. Az algoritmust az eredeti alacsony felbontású kép „táplálja”, majd nemcsak az eredeti felbontását növeli, hanem a képminőséget is reális részletek festésével, és a textúrák „természetesebbé tételével” javítja.

A textúra minőségének összehasonlítása: a bal oldalon, a játék Morrowind eredeti szerkezete, a jobb oldalon - a neurális hálózat feldolgozása

A Doom karaktere (a bal oldalon - jobbra volt)

Resident Evil 3 háttérfeldolgozás

Részletesebben olvassa el a példákat, és kattintson erre a linkre.

Különben isRemastered A hetedik döntő Stefan Rumen úgy döntött, hogy elindít egy másik projektet - ugyanazzal a gépi tanulási technológiával, de már a 90-es évek klasszikus sci-fi sorozatának kereteinek feldolgozásával. Rumen a Star Trek-t választotta: Deep Space Nine, mint kísérleti objektum.

„Élő kép” TV sorozata bonyolultság nagyon különbözik az előzetes renderelt Final Fantasy VII kép méretezésétől, a szerző megjegyzi, így a végeredmény sokkal jobbnak tűnik, mint az alacsony felbontású eredeti anyagok, de ez a kép még mindig messze van az ideális álmodástól. az első blu-ray lejátszók piacán. Esetenként kis „tárgyak” jelennek meg a képernyőn. De újra, általában minden jobban néz ki, mint méltó. És általában nézd meg magad.

</ p>

Rumen is ezt a projektet használtaAI Gigapixel algoritmus, amely képeket szerkesztett valódi fotók alapján. A szerző megjegyzi, hogy az új képet 1080p és 4k formátumban kaptuk meg, de mivel Rumen nem rendelkezik TV-vel vagy monitorral natív 4K felbontással, nem tudja megfelelően értékelni a 4K verziót.

</ p>

Sajnos a teljes sorozat teljes egészében láthatóA HD minősége lehetetlen. A teljes forrásanyag feldolgozása nagyon hosszú időt vesz igénybe, így Rumen csak különálló kereteket használt a különböző sorozatból a demonstrációhoz. Elmondása szerint csak egy okból vette fel ezt a projektet, hogy megmutassa, hogy ez valóban lehetséges. Véleménye szerint egy nagy televíziós társaságban dolgozó szakemberek egy csoportja, akik rendelkezésére állnak az ilyen munkákhoz megfelelőbb és erőteljesebb számítástechnikai eszközök, sokkal jobban képesek megbirkózni ezzel a feladattal.

Neurális hálózatok használata a munka egyszerűsítése érdekébenA régi képek feldolgozása videojátékokból és filmekből nem az egyetlen olyan terület, ahol az ilyen technológiák képesek megmutatni tehetségüket. A modern világban, ahol a panorámás panorámakamerák, amelyek képesek 360 fokos termelésre, valamint a virtuális valóság fejhallgatókra, egyre népszerűbbé válnak, a fejlesztők elkezdték aktívan feltárni a panorámafotózás lehetőségeit.

Az egyik legutóbbi fejlemény ebben az iránybanegy olyan neurális hálózat, amely képes statikus statikus képeket ábrázolni. A szerzők a Massachusettsi Egyetem, a Columbia Egyetemek és a George Mason Egyetem gépi tanulási szakemberei.

A létrehozott algoritmus meghatározza a környezet típusáta fényképen lévő objektumok, majd kiválasztja és elhelyezi a hangokat az adatbázisból a forrásukhoz való távolság térbeli számításával összhangban. Ennek köszönhetően a panoráma kép reális és térhatású hangot szerez, amely lehetővé teszi a benyújtott kép teljes újraértékelését.

</ p>

A neurális hálózat fejlesztői szerintA technológia érdekes lehet a VR-tartalom (filmek és játékok) fejlesztői körében. Az utolsó ebben az esetben nem kell kézzel beírnia a panorámakép összes hangját, az ideghálózat mindent képes elvégezni.

Iratkozzon fel a Yandex. Ott találhat olyan anyagokat, amelyek nem szerepelnek a webhelyen.