Quels avantages les réseaux de neurones peuvent-ils avoir pour le cinéma, les jeux vidéo et la réalité virtuelle?

Avec le développement de la technologie des réseaux de neurones et de la machinel’apprentissage, l’extension et la portée de leur application. Si les réseaux de neurones étaient auparavant utilisés exclusivement pour effectuer des calculs et des prévisions mathématiques, médicaux, physiques, biologiques complexes, ces technologies gagnent maintenant en popularité dans un environnement plus «banal» - dans le domaine du divertissement. Faisant seulement les premiers pas dans cette direction, ils sont déjà en mesure de démontrer des résultats étonnants et parfois même remarquables. Aujourd'hui, nous analysons plusieurs exemples illustratifs.

Le processus de remasterisation vidéo est si complexe etCela prend beaucoup de temps que beaucoup de chefs-d'œuvre de classiques du monde, nous n'aurions probablement pas vu avec une nouvelle image moderne, claire et juteuse. Cependant, le monde regorge de fans et d’enthousiastes intelligents qui connaissent bien les nouvelles technologies, en particulier les réseaux de neurones et les technologies d’apprentissage automatique, avec lesquels vous pouvez obtenir des résultats étonnants même à la maison. Par exemple, Stefan Rumen, utilisateur de YouTube sous le pseudonyme CaptRobau, a décidé de démontrer certaines des capacités des réseaux de neurones dans le traitement de vidéos d'une vieille série fantastique.

Son précédent travail est Remako Mod -“HD remake” du classique et très populaire RPG japonais Final Fantasy VII appelé. Pour cela, il a utilisé l'algorithme AI Gigapixel AI, avec lequel il a été en mesure de redimensionner l'image de l'image d'origine 4 fois, en la transférant en résolution HD sans modification significative du design original. Ainsi, pendant que vous attendez la prochaine décennie jusqu'à ce que le développeur et éditeur japonais de jeux informatiques Square Enix publie officiellement le remaster, qui est peut-être l'une des meilleures parties de cette série de jeux, vous pouvez essayer le mod de Stefan Rumen vous-même en le téléchargeant à partir de ce site.

</ p>

À propos, récemment, la technologie des réseaux de neuronespour remasteriser de vieux jeux et les amener à un look plus actuel et moderne sans changer le concept original global est devenu une véritable tendance parmi divers mododelov. Par exemple, il n’ya pas si longtemps, nous avons parlé de la technologie ESRGAN (réseaux d’adversaires génératifs à super résolution améliorés), à l’aide de laquelle les technologies de redimensionnement d’image mises en œuvre sont multipliées par deux. L'algorithme est «alimenté» avec l'image basse résolution d'origine, après quoi il n'augmente pas seulement la résolution d'origine de cette dernière, mais améliore également la qualité de l'image en peignant des détails réalistes et en rendant les textures plus «naturelles».

Comparaison de la qualité de la texture: à gauche, la texture originale du jeu Morrowind, à droite - traitée par le réseau de neurones

Personnage de Doom (à gauche - c'était à droite - c'est devenu)

Traitement en arrière-plan Resident Evil 3

Lisez plus en détail et voyez des exemples en cliquant sur ce lien.

Quoi qu'il en soit, entreRemasterisé pour la septième finale Stefan Rumen a décidé de lancer un autre projet - utilisant la même technologie d’apprentissage automatique, mais déjà pour le traitement des cadres de la série de science-fiction classique des années 90. Rumen a choisi Star Trek: Deep Space Nine comme objet d’expérimentation.

Série télévisée "image en direct"La complexité est très différente de la mise à l'échelle d'une image prédéfinie de Final Fantasy VII, note l'auteur, si bien que le résultat final est beaucoup mieux que les matériaux d'origine en basse résolution, mais cette image est encore loin de l'idéal auquel vous auriez pu rêver depuis le marché pour les premiers lecteurs Blu-ray. De petits artefacts apparaissent parfois à l'écran. Mais, encore une fois, en général, tout semble plus que digne. Et, en général, voyez par vous-même.

</ p>

Le rumen a également été utilisé pour ce projetAlgorithme AI Gigapixel, qui a été formé à l'édition d'images à partir de vraies photos. L'auteur note que la nouvelle image a été obtenue au format 1080p et 4k, mais étant donné que Rumen ne dispose pas d'un téléviseur ou d'un moniteur avec une résolution 4K native, il ne peut pas évaluer correctement la version 4K.

</ p>

Malheureusement, voir la série complète dans son intégralitéLa qualité HD est impossible. Le traitement de l'intégralité du matériel source prendrait beaucoup de temps. Rumen n'a donc utilisé que des images séparées de séries différentes pour la démonstration. Selon lui, il a entrepris ce projet pour une seule raison - montrer que c'était effectivement possible. Selon lui, toute une équipe de professionnels travaillant dans une grande entreprise de télévision et disposant d'un matériel informatique plus approprié et plus puissant pour ce type de travail sera beaucoup mieux à même de s’acquitter de cette tâche.

Utilisation de réseaux de neurones pour simplifier le travail surLe traitement de vieilles images de jeux vidéo et de films ne sont pas les seuls domaines dans lesquels de telles technologies peuvent montrer leurs talents. Dans le monde moderne, où les caméras panoramiques panoramiques, capables de produire à 360 degrés, ainsi que les casques de réalité virtuelle, deviennent de plus en plus populaires, les développeurs ont commencé à explorer activement le potentiel de la prise de vue panoramique.

Un des derniers développements dans cette directionest un réseau de neurones capable d’articuler des images statiques panoramiques. Ses auteurs sont des spécialistes en apprentissage automatique de l'Université du Massachusetts, des universités de Columbia et de l'Université George Mason.

L'algorithme créé détermine le type d'environnement etobjets dans la photographie, puis sélectionne et arrange les sons de la base de données utilisée conformément au calcul spatial de la distance à leurs sources dans cette image. De ce fait, l'image panoramique acquiert un son réaliste et surround, vous permettant de réévaluer complètement l'image soumise.

</ p>

Selon les développeurs de ce réseau de neurones,La technologie peut intéresser les développeurs de contenu VR (films et jeux). Les derniers dans ce cas n’auront pas à imposer manuellement tous les sons sur l’image panoramique, le réseau de neurones pourra tout faire par lui-même.

Abonnez-vous à notre Yandex. Vous y trouverez des matériaux qui ne sont pas publiés sur le site.