Wat is schoner voor het milieu: lesgeven in een AI-model of vijf auto's?

Kunstmatige intelligentie gebied vaakvergeleken met de olie-industrie: na extractie en verwerking kunnen gegevens, zoals olie, een zeer winstgevende grondstof worden. Het wordt nu echter duidelijk dat deze metafoor uitbreidt. Net als fossiele brandstoffen heeft deep learning een enorme impact op het milieu. In het nieuwe onderzoek voerden wetenschappers van de Universiteit van Massachusetts in Amherst een evaluatie uit van de levenscyclus van het leren van verschillende gangbare grootschalige modellen van kunstmatige intelligentie.

Het bleek dat als gevolg van dit processtoten meer dan 626.000 pond (ongeveer 300.000 kg) uit kooldioxide-equivalent, wat bijna vijf keer zoveel is als de uitstoot van een typische auto in vijf jaar (inclusief de productie van de auto zelf).

Hoe AI-modellen worden onderwezen

Dit is een verbazingwekkende kwantitatieve definitie van wat onderzoekers van kunstmatige intelligentie al lang vermoedden.

"Hoewel velen van ons erover nadenkenhet abstracte, wazige niveau, de cijfers laten de omvang van het probleem zien ", zegt Carlos Gomez-Rodriguez, een informatica-specialist aan de Universiteit van A Coruña in Spanje, die niet aan het onderzoek deelnam. "Noch ik, noch de andere onderzoekers met wie ik ze besprak, dachten dat de impact op het milieu zo groot zou zijn."

Kolenvoetafdruk verwerking van natuurlijke taal

Het werk kijkt specifiek naar het proceshet leren van een model voor natuurlijke taalverwerking (NLP), een AI-subveld dat machines voor menselijke taal leert. In de afgelopen twee jaar heeft de NLP-gemeenschap verschillende belangrijke fasen bereikt op het gebied van automatische vertaling, het invullen van zinnen en andere gestandaardiseerde beoordelingstaken. Het beruchte OpenAI GPT-2-model slaagde er bijvoorbeeld in boeiende nep-nieuwsverhalen te schrijven.

Maar dergelijke prestaties vereisten steeds meer training.grote modellen op uitgerekte datasets van zinnen getrokken van het internet. Deze benadering is rekenkundig kostbaar en zeer energie-intensief.

De onderzoekers onderzochten vier modellen inRuimten die verantwoordelijk zijn voor de grootste sprongen in prestaties: Transformer, ELMo, BERT en GPT-2. Ze hebben ze allemaal gedurende de dag op één GPU getraind om het energieverbruik te meten.

Toen namen ze het aantal uren training,gespecificeerd in de brondocumenten van het model, om het totale energieverbruik voor het gehele leerproces te berekenen. Deze hoeveelheid werd omgezet in kilo-equivalent koolstofdioxide, wat overeenkwam met de energiegebruiksstructuur van AWS van Amazon, de grootste aanbieder van cloudservices.

Het bleek dat computationele en milieude trainingskosten groeiden evenredig met de grootte van het model en werden vervolgens vele malen verhoogd toen de uiteindelijke nauwkeurigheid van het model werd aangepast. Het vinden van een neurale architectuur die probeert een model te optimaliseren door de structuur van een neuraal netwerk geleidelijk aan te veranderen met vallen en opstaan, veroorzaakt extreem hoge kosten met een kleine prestatiewinst. Zonder dit, liet het duurste BERT-model een CO2-voetafdruk van 1.400 pond (635 kg) achter, wat in de buurt komt van een tweewegs trans-Amerikaanse vlucht.

Bovendien moeten deze cijfers alleen als basislijnen worden beschouwd.

"Het leren van één model is het minimumbedraghet werk dat je kunt doen ", zegt Emma Strubell, hoofdauteur van het artikel. In de praktijk is het veel waarschijnlijker dat AI-onderzoekers een nieuw model helemaal zelf zullen ontwikkelen of een bestaand model zullen aanpassen, waarvoor nog veel meer training- en afstemmingscycli nodig zullen zijn.

In het algemeen, volgens wetenschappers, het proces van het creëren entesten van het definitieve model, publicatie waardig, vereiste training van 4789 modellen in zes maanden. In termen van CO2-equivalent is dit ongeveer 35.000 kg.

De betekenis van deze cijfers is enorm, vooral alsHoud rekening met de huidige trends in AI-onderzoek. In het algemeen gaat onderzoek op het gebied van AI voorbij aan efficiëntie, omdat grote neurale netwerken bruikbaar blijken te zijn voor verschillende taken, en bedrijven met onbeperkte computerresources gebruiken deze om een ​​concurrentievoordeel te behalen.

Maar voor het klimaat zal het niet erg goed zijn. Kijk uit voor neurale netwerken in ons Telegram-kanaal.