istraživanje

Što je čistije za okoliš: podučavanje modela AI ili pet automobila?

Područje umjetne inteligencije čestou usporedbi s naftnom industrijom: nakon vađenja i obrade, podaci, poput nafte, mogu postati vrlo profitabilna roba. Međutim, sada postaje jasno da se ta metafora širi. Kao i fosilna goriva, duboko učenje ima ogroman utjecaj na okoliš. U novom radu, znanstvenici sa Sveučilišta Massachusetts u Amherstu proveli su procjenu životnog ciklusa učenja nekoliko uobičajenih velikih modela umjetne inteligencije.

Pokazalo se da je rezultat tog procesaemitira više od 626.000 funti (oko 300.000 kg) u ekvivalentu ugljičnog dioksida, što je gotovo pet puta više od emisije tipičnog automobila u pet godina (uključujući proizvodnju samog automobila).

Kako se poučavaju AI modeli

To je nevjerojatna kvantitativna definicija onoga što istraživači umjetne inteligencije odavno sumnjaju.

- Iako mnogi od nas razmišljaju o tomeapstraktna, mutna razina, brojke pokazuju opseg problema “, kaže Carlos Gomez-Rodriguez, stručnjak za informatiku na Sveučilištu A Coruña u Španjolskoj, koji nije sudjelovao u studiji. "Ni ja, niti drugi istraživači s kojima smo razgovarali, nisu smatrali da bi utjecaj na okoliš bio toliko značajan."

Otisak ugljena za obradu prirodnog jezika

Rad posebno razmatra taj procesučenje modela za obradu prirodnog jezika (NLP), podpolje AI koje uči strojeve za ljudski jezik. Tijekom protekle dvije godine NLP zajednica je dostigla nekoliko važnih faza u području strojnog prevođenja, dovršavanja rečenica i drugih standardiziranih zadataka ocjenjivanja. Zloglasni OpenAI GPT-2 model, kao primjer, uspio je napisati uvjerljive lažne vijesti.

No takva su postignuća zahtijevala sve više i više treninga.veliki modeli na rastegnutim skupovima podataka iz rečenica izvučenih s interneta. Ovaj pristup je računski skup i vrlo energetski intenzivan.

Istraživači su ispitali četiri modela u HrvatskojPodručja odgovorna za najveće skokove u performansama: Transformer, ELMo, BERT i GPT-2. Svakog od njih trenirali su na jednom GPU-u tijekom dana za mjerenje potrošnje energije.

Tada su uzeli broj sati obuke,navedene u izvornim dokumentima modela, za izračun ukupne potrošnje energije za cijeli proces učenja. Ta količina pretvorena je u ekvivalent ugljičnog dioksida, što odgovara strukturi potrošnje energije tvrtke AWS iz Amazona, najvećeg pružatelja usluga u oblaku.

Pokazalo se da je to računska i ekološkaTroškovi obuke rasli su razmjerno veličini modela, a zatim su se povećavali mnogo puta kada je konačna točnost modela bila prilagođena. Pronalaženje neuronske arhitekture koja pokušava optimizirati model postupno mijenjajući strukturu neuronske mreže putem pokušaja i pogrešaka uzrokuje iznimno visoke troškove s malim povećanjem performansi. Bez njega, najskuplji BERT model ostavio je ugljični otisak od 1400 funti (635 kg), što je blizu dvosmjernom transameričkom letu.

Štoviše, te brojke treba uzeti u obzir samo kao polazne vrijednosti.

"Učenje jednog modela je minimalni iznosposao koji možete učiniti “, kaže Emma Strubell, glavna autorica članka. U praksi je mnogo vjerojatnije da će AI istraživači razviti novi model od nule ili prilagoditi postojeći, što će zahtijevati mnogo više ciklusa obuke i podešavanja.

Općenito, prema znanstvenicima, proces stvaranja itestiranje konačnog modela, vrijedno objavljivanja, zahtijevalo je obuku 4789 modela u šest mjeseci. Što se tiče ekvivalenta CO2, to je oko 35.000 kg.

Značaj ovih brojeva je ogroman, osobito akoUzmite u obzir trenutne trendove u istraživanju umjetne inteligencije. Općenito, istraživanja u području AI zanemaruju učinkovitost, budući da se za velike neuronske mreže utvrdi da su korisne za različite zadatke, a tvrtke s neograničenim računalnim resursima će ih iskoristiti za stjecanje konkurentske prednosti.

Ali za klimu to neće biti jako dobro. Pratite neuronske mreže u našem telegramskom kanalu.