Нейронні мережі навчили перетворювати піксельні зображення в фотореалістичні

Нещодавно нам показали «ремейк» класичногошутера 1997 року Quake II, де основна робота по поліпшенню була зведена до інтеграції технології трасування променів, але на цей раз в Мережі з'явилося дещо цікавіше. Нарешті, HD-ремейк, якого ми всі чекали! Один з користувачів Reddit, використовуючи набір з декількох нейронних мереж, зміг перетворити пікселізованное зображення обличчя космічного піхотинця з класичного шутера 1993 року Doom в майже фотореалістичне зображення.

Як повідомляє портал Futurism, в результаті особа знаменитого «хлопця з Doom» після всіх маніпуляцій стало походити на м'язисту версію актора Нейтана Філліон.

Кінцевий результат прекрасно демонструє те, нащо здатні сучасні алгоритми штучного інтелекту, адаптовані на відтворення зображень на основі дуже низькоякісного вихідного матеріалу.

Створення фотореалістичного зображення

Як пояснює джерело, фінальний результатє продуктом роботи відразу декількох генеративно-змагальних мереж (Generative Adversarial Networks, GAN). Це алгоритми машинного навчання, побудований на комбінації з двох нейронних мереж, одна з яких генерує зразки, а інша намагається відрізнити правильні ( «справжні») зразки від неправильних. Перспектив у цій технології безліч, про що ми писали в одній з наших попередніх статей.

Ентузіаст, який створив ці зображення, спершупропустив спрайтові особа «хлопця з Doom» через кілька програм редагування фотозображень (FaceApp, Waifu2x і GIMP). Одержаний результат, хоч і виявився істотно краще початкового зображення, але все одно був занадто пікселізован.

Перехідний результат. Зображення обличчя помітно змінилося, але все одно залишилося несправжнім

Подальша робота проводилася за допомогоюрозробленої компанією NVIDIA генеративно-змагальної мережі StyleGAN. Вона здатна генерувати особи (не тільки особи, але і неживі об'єкти), які ніколи не існували і зараз вона є однією з найпотужніших моделей генеративно-змагальної нейронної мережі, яка показує вражаючі видимі результати. Для закріплення результатів він пропустив вийшло особа через StyleGAN ще раз. Оскільки оригінальне зображення особи мало нереалістичні пропорції, фінальні штрихи і «згладжування кутів» довелося проводити вручну.