Hvad er renere for miljøet: Undervisning af en AI-model eller fem biler?

Kunstig intelligensområde oftei forhold til olieindustrien: efter udvinding og forarbejdning kan data som olie blive en meget rentabel vare. Men det bliver nu indlysende, at denne metafor udvides. Ligesom fossile brændstoffer har dyb læring en enorm miljøpåvirkning. I det nye arbejde gennemførte forskere fra University of Massachusetts at Amherst en vurdering af livscyklusen for læring af flere fælles store modeller af kunstig intelligens.

Det viste sig som et resultat af denne procesudsender mere end 626.000 pounds (ca. 300.000 kg) i kuldioxidækvivalent, hvilket er næsten fem gange udledningen af ​​en typisk bil om fem år (herunder selve bilens produktion).

Hvordan AI modeller bliver undervist

Dette er en fantastisk kvantitativ definition af, hvad forskere af kunstig intelligens har længe mistænkt.

"Selvom mange af os tænker på detDet abstrakte, uklare niveau, tallene viser omfanget af problemet, "siger Carlos Gomez-Rodriguez, en informatikspesialist ved University of A Coruña i Spanien, som ikke deltog i undersøgelsen. "Hverken jeg eller de andre forskere, som jeg diskuterede med dem, troede, at virkningen på miljøet ville være så stor."

Kulfottryk behandler naturligt sprog

Arbejdet tager specifikt hensyn til processenlære en model for naturligt sprogbehandling (NLP), et AI-underfelt, der lærer menneskelige sprogmaskiner. I løbet af de sidste to år har NLP-samfundet nået flere vigtige stadier inden for maskinoversættelse, afslutning af sætninger og andre standardiserede vurderingsopgaver. Den berygtede OpenAI GPT-2-model lykkedes som eksempel at skrive tvingende falske nyhedshistorier.

Men sådanne præstationer krævede mere og mere træning.store modeller på strakte datasæt fra sætninger trukket fra internettet. Denne tilgang er computationally costly og meget energiintensive.

Forskerne undersøgte fire modeller iOmråder med ansvar for de største spring i performance: Transformer, ELMo, BERT og GPT-2. De trænede hver enkelt af dem på en enkelt GPU i løbet af dagen for at måle strømforbruget.

Så tog de antallet af træningstimer,specificeret i modelens kildedokumenter for at beregne den samlede energiforbrug for hele læringsprocessen. Dette beløb blev omdannet til pund svarende til carbondioxid, hvilket svarede til AWS energiforbrugsstruktur fra Amazon, den største skyudbyder.

Det viste sig at være beregningsmæssigt og miljømæssigtUddannelsesomkostningerne voksede i forhold til modelens størrelse, og blev derefter øget mange gange, da modelens endelige nøjagtighed blev justeret. At finde en neural arkitektur, der forsøger at optimere en model ved gradvist at ændre strukturen i et neuralt netværk gennem forsøg og fejl medfører ekstremt høje omkostninger med en lille præstationsgevinst. Uden den efterlod den dyreste BERT-model et carbonfodaftryk på 1.400 pund (635 kg), som ligger tæt på en tovejs trans-amerikansk flyvning.

Desuden bør disse tal kun betragtes som basislinjer.

"At lære en model er minimumsbeløbetdet arbejde du kan gøre, "siger Emma Strubell, hovedforfatter af artiklen. I praksis er det meget mere sandsynligt, at AI-forskere vil udvikle en ny model fra bunden eller tilpasse en eksisterende, hvilket vil kræve mange flere trænings- og afstemningscyklusser.

Generelt, ifølge forskerne, processen med at skabe ogafprøvning af den endelige model, værdig til offentliggørelse, krævet uddannelse 4789 modeller om seks måneder. Med hensyn til CO2-ækvivalent er dette ca. 35.000 kg.

Betydningen af ​​disse tal er enorm, især hvisTage hensyn til aktuelle trends inden for AI-forskning. Generelt svækker forskning inden for AI effektivitet, da store neurale netværk viser sig at være nyttige til forskellige opgaver, og virksomheder med ubegrænsede computerressourcer vil bruge dem til at opnå en konkurrencemæssig fordel.

Men for klimaet vil det ikke være meget godt. Se efter neurale netværk i vores telegramkanal.