Recherche

Qu'est-ce qui est plus écologique pour l'environnement: enseigner un modèle d'IA ou cinq voitures?

Zone d'intelligence artificielle souventpar rapport à l'industrie pétrolière: après l'extraction et le traitement, les données, comme le pétrole, peuvent devenir un produit très rentable. Cependant, il devient maintenant évident que cette métaphore est en expansion. Comme les combustibles fossiles, l'apprentissage en profondeur a un impact considérable sur l'environnement. Dans le nouveau travail, des scientifiques de l'Université du Massachusetts à Amherst ont réalisé une évaluation du cycle de vie de l'apprentissage de plusieurs modèles communs à grande échelle de l'intelligence artificielle.

Il s’est avéré qu’à la suite de ce processusémettre plus de 626 000 livres (environ 300 000 kg) d'équivalent en dioxyde de carbone, soit près de cinq fois les émissions d'une voiture type en cinq ans (y compris la production de la voiture elle-même).

Comment les modèles d'IA sont enseignés

C'est une définition quantitative étonnante de ce que les chercheurs en intelligence artificielle soupçonnaient depuis longtemps.

«Bien que beaucoup d’entre nous y réfléchissentAu niveau abstrait et flou, les chiffres montrent l’ampleur du problème », explique Carlos Gomez-Rodriguez, spécialiste en informatique à l’Université de La Corogne en Espagne, qui n’a pas participé à l’étude. "Ni moi-même, ni les autres chercheurs avec qui j'ai discuté, avons pensé que l'impact sur l'environnement serait si important."

Empreinte de charbon traitant le langage naturel

Le travail considère spécifiquement le processusapprendre un modèle de traitement du langage naturel (NLP), un sous-champ d'IA qui enseigne les machines du langage humain. Au cours des deux dernières années, la communauté des PNL a franchi plusieurs étapes importantes dans le domaine de la traduction automatique, de l'achèvement des phrases et d'autres tâches d'évaluation standardisées. Le modèle notoire OpenAI GPT-2, par exemple, a réussi à écrire de fausses nouvelles convaincantes.

Mais de telles réalisations exigent de plus en plus de formation.grands modèles sur des ensembles de données étirés à partir de phrases tirées d'Internet. Cette approche est coûteuse en temps de calcul et très énergivore.

Les chercheurs ont examiné quatre modèles enLes secteurs responsables des plus grands sauts en performance: Transformer, ELMo, BERT et GPT-2. Ils ont formé chacun d'eux sur un seul GPU au cours de la journée pour mesurer la consommation d'énergie.

Ensuite, ils ont pris le nombre d'heures de formation,spécifié dans les documents source du modèle, pour calculer l’énergie totale consommée pour l’ensemble du processus d’apprentissage. Ce montant a été converti en livres équivalent de dioxyde de carbone, ce qui correspond à la structure de consommation d'énergie d'AWS établie par Amazon, le plus grand fournisseur de services de cloud computing.

Il s’est avéré que le calcul et l’environnementLes coûts de formation ont augmenté proportionnellement à la taille du modèle, puis ont augmenté plusieurs fois lorsque la précision finale du modèle a été ajustée. Trouver une architecture neuronale qui tente d'optimiser un modèle en modifiant progressivement la structure d'un réseau de neurones par essais et erreurs entraîne des coûts extrêmement élevés avec un gain de performances minime. Sans lui, le modèle BERT le plus cher aurait laissé une empreinte carbone de 1 400 livres (635 kg), ce qui est proche d'un vol transaméricain aller-retour.

De plus, ces chiffres ne doivent être considérés que comme des bases.

"L'apprentissage d'un modèle est la quantité minimalele travail que vous pouvez faire », déclare Emma Strubell, auteur principal de l'article. En pratique, il est beaucoup plus probable que les chercheurs en intelligence artificielle développent un nouveau modèle à partir de zéro ou adaptent un modèle existant, ce qui nécessitera beaucoup plus de cycles de formation et de réglage.

En général, selon les scientifiques, le processus de création et detester le modèle final, digne de publication, a nécessité la formation de 4789 modèles en six mois. En termes d'équivalent CO2, cela représente environ 35 000 kg.

L’importance de ces chiffres est énorme, surtout siTenez compte des tendances actuelles dans la recherche sur l'IA. En général, la recherche dans le domaine de l'IA néglige l'efficacité, car les grands réseaux de neurones s'avèrent utiles pour diverses tâches et que les entreprises disposant de ressources informatiques illimitées les utiliseront pour acquérir un avantage concurrentiel.

Mais pour le climat, ce ne sera pas très bon. Surveillez les réseaux de neurones dans notre canal Telegram.