Général

Le supercalculateur le plus rapide au monde bat le record de l'intelligence artificielle

Sur la côte ouest de l'Amérique, le plus précieuxLes entreprises mondiales tentent de rendre l'intelligence artificielle plus intelligente. Google et Facebook proposent des expériences utilisant des milliards de photos et des milliers de processeurs hautes performances. Mais à la fin de l’année dernière, un projet dans l’est du Tennessee surpassait l’échelle de tout laboratoire d’intelligence artificielle. Et il était sous l'administration du gouvernement américain.

Le superordinateur du gouvernement américain bat un record

Le projet de disque a impliqué le plus puissantSommet mondial des supercalculateurs, situé dans le laboratoire national d’Oak Ridge. Cette voiture a reçu la couronne en juin dernier et a retrouvé le titre américain cinq ans plus tard, alors que la liste était dirigée par la Chine. Dans le cadre d’un projet de recherche sur le climat, un ordinateur géant a lancé une expérience d’apprentissage automatique plus rapide que jamais.

"Sommet", occupant une superficie équivalente à deuxcourts de tennis, impliqués dans ce projet plus de 27 000 processeurs graphiques puissants. Il a utilisé leur pouvoir pour enseigner des algorithmes d'apprentissage en profondeur, la technologie même à la base de l'intelligence artificielle avancée. Dans le processus d'apprentissage en profondeur, les algorithmes effectuent des exercices à une vitesse d'un milliard d'opérations par seconde, connue dans les cercles de superordinateurs sous le nom d'exaflop.

"Auparavant, l'apprentissage en profondeur jamais atteintce niveau de performance », déclare Prabhat, responsable de l'équipe de recherche du Centre national de recherche sur l'énergie du Laboratoire national Lawrence Berkeley. Son équipe a collaboré avec des chercheurs du siège social du Sommet, au laboratoire national Oak Ridge.

Comme vous pouvez le deviner, la formation de l'IA elle-mêmeL'ordinateur le plus puissant du monde s'est concentré sur l'un des plus gros problèmes du monde: le changement climatique. Les entreprises technologiques enseignent des algorithmes pour reconnaître les visages ou les panneaux de signalisation; Les scientifiques du gouvernement leur ont appris à reconnaître les conditions météorologiques telles que les cyclones grâce à des modèles climatiques qui compressent les prévisions du centenaire de l’atmosphère de la Terre à trois heures. (Cependant, on ne sait pas combien d'énergie le projet a demandé et combien de carbone a été émis dans l'air au cours du processus).

L'expérience du sommet, ça compte pour l'avenirintelligence artificielle et climatologie. Le projet démontre le potentiel scientifique de l'adaptation de l'apprentissage en profondeur aux superordinateurs, qui simulent traditionnellement des processus physiques et chimiques, tels que des explosions nucléaires, des trous noirs ou de nouveaux matériaux. Cela montre également que l'apprentissage automatique peut bénéficier d'une puissance de calcul accrue, si vous le trouvez, et offrir des percées dans le futur.

"Nous ne savions pas que cela pourrait être fait dans un teljusqu’à ce qu’ils l’aient fait », explique Rajat Monga, directeur technique de Google. Avec d’autres googles, il a aidé le projet en adaptant le logiciel d’apprentissage automatique TensorFlow à code source ouvert de la société aux échelles gigantesques du Sommet.

Une grande partie du travail de mise à l'échelle en profondeurLa formation a été dispensée dans des centres de données de sociétés Internet, où les serveurs travaillent ensemble sur des problèmes, les divisant, car ils sont situés relativement séparément et ne sont pas connectés à un ordinateur géant. Les supercalculateurs comme Summit ont une architecture différente avec des connexions haut débit spécialisées connectant leurs milliers de processeurs à un système unique pouvant fonctionner comme une seule unité. Jusqu'à récemment, relativement peu de travail était fait pour adapter l'apprentissage automatique au travail avec ce type de matériel.

Monga dit le travail d'adaptation TensorFlowà l'échelle Summit contribuera également aux efforts de Google pour étendre ses systèmes internes d'intelligence artificielle. Les ingénieurs de Nvidia ont également participé à ce projet, en veillant à ce que des dizaines de milliers de GPU Nvidia installés sur cette machine fonctionnent sans interruption.

Trouver des moyens d'utiliser plus de calculLa puissance des algorithmes d'apprentissage en profondeur a joué un rôle important dans le développement actuel de la technologie. La même technologie que Siri utilise pour la reconnaissance vocale et les voitures Waymo pour lire les panneaux de signalisation est devenue utile en 2012 après que les scientifiques l’ont adaptée pour fonctionner sur les GPU Nvidia.

Dans une analyse publiée en mai dernier,Des scientifiques d'OpenAI, un institut de recherche basé à San Francisco et fondé par Ilon Mask, ont calculé que la quantité de puissance de calcul disponible dans les plus grandes expériences d'apprentissage automatique à la machine avait doublé environ tous les 3,43 mois depuis 2012; cela se traduira par une augmentation de 11 fois sur l'année. Cette progression a aidé l’alphabet bot à battre les champions des jeux de bureau et vidéo complexes, et a également contribué à une augmentation significative de la précision du traducteur de Google.

Google et d'autres entreprises maintenantcréer de nouveaux types de puces, adaptées à l'IA, pour poursuivre cette tendance. Google affirme que les «pods» avec des milliers d'espions étroitement espacés - processeurs de tenseur dupliqués ou TPU - peuvent fournir une puissance de calcul de 100 pétaflops, soit un dixième de la vitesse atteinte par Summit.

La contribution du Sommet à la science du climatmontre comment une IA géante peut améliorer notre compréhension des conditions météorologiques futures. Lorsque les chercheurs génèrent des prévisions météorologiques du centenaire, la lecture des prévisions résultantes devient difficile. «Imaginez que vous ayez un film sur 100 ans sur YouTube. Il est impossible de trouver tous les chats et les chiens de ce film à la main », explique Prabhat. Habituellement, un logiciel est utilisé pour automatiser ce processus, mais il n’est pas parfait. Les résultats du Sommet ont montré que l’apprentissage automatique peut le faire beaucoup mieux, ce qui devrait aider à prévoir les effets des tempêtes, telles que les inondations.

Selon Michael Pritchard, un professeurUniversité de Californie à Irvine, le lancement d'un apprentissage en profondeur sur les superordinateurs est une idée relativement nouvelle qui a émergé à un moment opportun pour les chercheurs en climatologie. Le ralentissement du rythme d'amélioration des processeurs traditionnels a conduit les ingénieurs à équiper les supercalculateurs d'un nombre croissant de puces graphiques, de sorte que leurs performances ont augmenté de manière plus stable. «Le moment est venu où il n'est plus possible d'augmenter la puissance de calcul de la manière habituelle», déclare Pritchard.

Ce changement a commencé la simulation traditionnelleimpasse, et a donc dû s'adapter. Il ouvre également la porte à la puissance de l'apprentissage en profondeur, qui convient naturellement aux puces graphiques. Peut-être aurons-nous une meilleure idée de l'avenir de notre climat.

Comment utiliseriez-vous un tel superordinateur? Dites-nous dans notre conversation dans Telegram.