General

Яку користь можуть принести нейромережі для кіно, відеоігор і віртуальної реальності

З розвитком технологій нейромереж і машинногонавчання, розширюється і сфера їх застосування. Якщо раніше нейромережі використовувалися виключно для проведення складних математичних, медичних, фізичний, біологічних розрахунків і прогнозування, то зараз ці технології набувають широкої популярності в більш «приземленою» середовищі - в сфері розваг. Роблячи лише перші кроки в цьому напрямку, вони вже здатні демонструвати дивовижні і часом навіть видатні результати. Сьогодні розберемо кілька наочних прикладів.

Процес ремастерінга відео настільки складний івремязатратний, що багато шедеврів світової класики ми, можливо, так і не побачили б з новою, сучасною, чіткої і соковитою картинкою. Однак в світі повно розумних фанатів і ентузіастів, які відмінно розбираються в нових технологіях, і зокрема технологіях нейромереж і машинного навчання, за допомогою яких можна досягти вражаючих результатів навіть в домашніх умовах. Наприклад, користувач YouTube Стефан Румен з псевдонімом CaptRobau вирішив продемонструвати деякі можливості нейромереж в обробці відео старого фантастичного серіалу.

Більш ранній його роботою є Remako Mod -«HD-ремейк» класичної і дуже популярної японської RPG Final Fantasy VII під назвою. Для цього він використовував ІІ-алгоритм AI Gigapixel, за допомогою якого зміг масштабувати зображення оригінальної картинки в 4 рази, перевівши її в HD-дозвіл без будь-яких істотних змін у первісному арт-дизайні. Таким чином, поки ви чекатиме чергове десятиліття до того моменту, коли японський розробник і видавець комп'ютерних ігор Square Enix офіційно випустить ремастера, мабуть, однією з кращих частин даної ігрової серії, можете спробувати мод Стефана Румена самостійно, скачавши його з цього сайту.

</ P>

До слова, останнім часом технології нейромереждля ремастерінга старих ігор і приведення їх до більш актуального і сучасного вигляду без зміни загальної оригінальної концепції стало справжнім трендом серед різних мододелов. Наприклад, не так давно ми розповідали про технології ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), за допомогою якої реалізуються технології масштабування зображень з 2-8-кратним збільшенням якості. Алгоритмом «згодовують» оригінальне зображення з низьким дозволом, після чого він не тільки збільшує вихідне дозвіл останнього, але ще і підвищує якість зображення, подрісовивая реалістичні деталі і роблячи текстури «більш природними».

Порівняння якості текстур: зліва оригінальна текстура з гри Morrowind, праворуч - оброблена нейромережею

Персонаж з Doom (зліва - було, справа - стало)

Обробка фону в грі Resident Evil 3

Почитати детальніше і подивитися приклади можна перейшовши за цим посиланням.

Як би там не було, в перервах міжремастеринг «Сьомий финалка» Стефан Румен вирішив зайнятися іншим проектом - використовувати ту ж технологію машинного навчання, але вже для обробки кадрів класичного фантастичного серіалу 90-х років. Як об'єкт для експериментів Румен вибрав «Зоряний шлях: Далекий космос дев'ять».

Масштабування «живого зображення» ТВ-серіалуза складністю дуже відрізняється від масштабування заздалегідь відрендерене зображення Final Fantasy VII, зазначає автор, тому фінальний результат хоч і виглядає помітно краще вихідних матеріалів в низькій роздільній здатності, але ця картинка все ще далека від того ідеалу, про який ви могли мріяти ще з моменту появи на ринку перших Blu-ray-програвачів. Зрідка на екрані з'являються невеликі «артефакти». Але, повторимося, в цілому все виглядає більш ніж гідно. А, загалом, дивіться самі.

</ P>

Для даного проекту Румен також використовувавалгоритм AI Gigapixel, який був навчений правці зображень на базі реальних фотографій. Автор зазначає, що нова картинка була отримана в форматі 1080p і 4k, але так як у Румена немає телевізора або монітора з рідним дозволом 4K, адекватно оцінити 4K-варіант він не може.

</ P>

На жаль, побачити серіал цілком в FullHD-якості можна. Процес обробки всього вихідного матеріалу зайняв би дуже багато часу, тому Румен для демонстрації використовував лише окремі кадри з різних серій. За його словами, він зайнявся цим проектом лише з однієї причини - показати, що це дійсно можливо. На його думку, ціла команда професіоналів, яка працює в крупній телевізійної компанії і має в своєму розпорядженні більш підходяще і потужне для такої роботи комп'ютерне обладнання зможе впоратися з цим завданням набагато краще.

Використання нейромереж для спрощення роботи пообробці старих зображень з відеоігор і фільмів є не єдиними сферами, де такі технології здатні проявити свої таланти. У сучасному світі, де все більшої популярності набувають оглядові панорамні камери, здатні виробляти з кутом 360 градусів, а також гарнітури віртуальної реальності, розробники стали активно досліджувати потенціал панорамної зйомки.

Однією з останніх розробок в цьому напрямкує нейросеть, здатна озвучувати панорамні статичні зображення. Її авторами є фахівці в сфері машинного навчання з Массачусетського, Колумбійського університетів і Університет Джорджа Мейсона.

Створений алгоритм визначає тип оточення іоб'єкти на фотографії, а потім підбирає і розставляє звуки з використовується бази даних відповідно до просторовим розрахунком відстані до їх джерел на цьому зображенні. Завдяки цьому панорамне зображення набуває реалістичний і об'ємний звук, що дозволяє абсолютно по-новому оцінити представлений знімок.

</ P>

На думку розробників цієї нейромережі,технологія може знайти інтерес серед розробників VR-контенту (фільмів та ігор). Останнім в даному випадку не доведеться накладати все звуки на панорамне зображення вручну, нейросеть зможе зробити все це самостійно.

Підписуйтесь на наш Яндекс.Дзен. Там можна знайти матеріали, які не публікуються на сайті.