Mikä on ympäristöystävällisempi: opetetaan AI-mallia tai viisi autoa?

Tekoälyalue useinverrattuna öljyteollisuuteen: uuttamisen ja käsittelyn jälkeen, kuten öljy, tiedot voivat tulla hyvin kannattavaksi hyödykkeeksi. Nyt on kuitenkin selvää, että tämä metafora laajenee. Fossiilisten polttoaineiden tavoin syvällä oppimisella on valtava ympäristövaikutus. Uudessa työssä Amherstin Massachusettsin yliopiston tutkijat arvioivat useiden yhteisten laajamittaisten keinotekoisen älykkyysmallien oppimisen elinkaarta.

Osoittautui, että tämän prosessin tuloksenapäästää yli 626 000 kiloa (noin 300 000 kg) hiilidioksidiekvivalenttia, mikä on lähes viisi kertaa suurempi kuin tyypillisen auton päästöt viiden vuoden aikana (mukaan lukien itse auton tuotanto).

Miten opetetaan AI-malleja

Tämä on hämmästyttävä määrällinen määrittely siitä, mitä keinotekoisen älykkyyden tutkijat ovat jo pitkään epäillyt.

”Vaikka monet meistä ajattelevat sitäAbstrakti, epäselvä taso, luvut osoittavat ongelman laajuuden ”, sanoo Carlos Gomez-Rodriguez, Espanjan A Coruñan yliopiston informatiikka-asiantuntija, joka ei osallistunut tutkimukseen. "En minä ja muut tutkijat, joiden kanssa keskustelin niistä, ajattelin, että ympäristövaikutukset olisivat niin merkittäviä."

Hiilijalanjälki luonnollisen kielen käsittelyssä

Työ käsittelee erityisesti prosessiaoppiminen luonnollisen kielenkäsittelyn mallille (NLP), AI-alikentälle, joka opettaa ihmiskielisiä koneita. Kahden viime vuoden aikana NLP-yhteisö on saavuttanut useita tärkeitä vaiheita konekääntämisen, lauseiden täyttämisen ja muiden standardoitujen arviointitehtävien alalla. Esimerkiksi pahamaineinen OpenAI GPT-2 -malli onnistui kirjoittamaan pakottavia väärennettyjä uutisia.

Mutta tällaiset saavutukset vaativat yhä enemmän koulutusta.suuret mallit venytetyistä tietosarjoista Internetistä vedetyistä lauseista. Tämä lähestymistapa on laskennallisesti kallista ja erittäin energiaintensiivistä.

Tutkijat tutkivat neljä mallia vuonna 2007. \ TAlueet, jotka vastaavat suurimmista hyppyistä suorituskyvyssä: Transformer, ELMo, BERT ja GPT-2. He kouluttivat jokaisen heistä yhdestä GPU: sta päivän mittaan virrankulutuksen mittaamiseksi.

Sitten he ottivat koulutuksen tuntimäärän,määritetään mallin lähdeasiakirjoissa, jotta voidaan laskea koko oppimisprosessille kulutettu energia. Tämä määrä muutettiin punta-ekvivalentiksi hiilidioksidia, joka vastasi AWS: n suurinta pilvipalvelujen tarjoajan Amazonin energiankulutusrakennetta.

Osoittautui, että laskennallinen ja ympäristöllinenkoulutuskustannukset kasvoivat suhteessa mallin kokoon ja kasvoivat sitten monta kertaa, kun mallin lopullista tarkkuutta muutettiin. Neuraalisen arkkitehtuurin löytäminen, joka yrittää optimoida mallin muuttamalla hermoverkon rakennetta vähitellen kokeilun ja virheen kautta, aiheuttaa erittäin suuria kustannuksia pienellä suorituskyvyllä. Ilman sitä kallein BERT-malli jätti 1400 kilon (635 kg) hiilijalanjäljen, joka on lähellä kaksisuuntaista trans-amerikkalentoa.

Lisäksi näitä lukuja olisi pidettävä vain perusviivoina.

"Yhden mallin oppiminen on vähimmäismäärätyö, jota voit tehdä ”, sanoo artikkelin johtaja Emma Strubell. Käytännössä on paljon todennäköisempää, että AI-tutkijat kehittävät uuden mallin tyhjästä tai mukauttavat olemassa olevan mallin, joka vaatii paljon enemmän koulutus- ja viritysjaksoja.

Yleisesti ottaen tiedemiesten mukaan prosessi luoda jalopullisen mallin testaaminen, joka on arvoinen julkaiseminen, vaati koulutusta 4789 malleja kuuden kuukauden aikana. CO2-ekvivalenttina tämä on noin 35 000 kg.

Näiden numeroiden merkitys on valtava, varsinkin josOta huomioon AI-tutkimuksen nykyiset suuntaukset. Yleensä AI-alan tutkimukset jättävät huomiotta tehokkuuden, koska suuret hermoverkot tunnustetaan hyödyllisiksi erilaisiin tehtäviin, ja yritykset, joilla on rajattomat laskentaresurssit, käyttävät niitä kilpailuetujen saamiseksi.

Mutta ilmasto ei ole kovin hyvä. Tarkkaile hermoverkkoja Telegram-kanavassamme.