Mi a tisztább a környezet számára: az AI modell vagy öt autó tanítása?

Mesterséges intelligencia terület gyakranaz olajiparhoz képest: a kitermelés és feldolgozás után az adatok, mint az olaj, nagyon nyereséges árucikkekké válhatnak. Most azonban világossá válik, hogy ez a metafora bővül. A fosszilis tüzelőanyagokhoz hasonlóan a mélyreható tanulásnak óriási környezeti hatása van. Az új munkában az Amherst-i Massachusettsi Egyetem tudósai értékelték a mesterséges intelligencia több közös modelljének tanulásának életciklusát.

Kiderült, hogy e folyamat eredményekénttöbb mint 626 000 font (kb. 300 000 kg) szén-dioxid-egyenértéket bocsát ki, ami majdnem ötszöröse egy tipikus autó kibocsátásának öt év alatt (beleértve az autó gyártását is).

Hogyan tanítják az AI modelleket

Ez egy csodálatos mennyiségi meghatározás arról, hogy a mesterséges intelligencia kutatói régóta gyanakodtak.

- Bár sokan gondolkodnak rajtaaz absztrakt, homályos szint, a számok a probléma mértékét mutatják ”- mondja Carlos Gomez-Rodriguez, a spanyol A Coruña Egyetem informatikai szakembere, aki nem vett részt a tanulmányban. "Sem én, sem a többi kutató, akivel megvitattam őket, úgy gondolták, hogy a környezetre gyakorolt ​​hatás annyira jelentős lenne."

A természetes nyelv feldolgozására szolgáló szénlábnyom

A munka kifejezetten a folyamatot vizsgáljaa természetes nyelvi feldolgozás (NLP) modelljének tanulása, az AI almező, amely emberi nyelveket tanít. Az elmúlt két évben az NLP közösség számos fontos lépést ért el a gépi fordítás, a mondatok befejezése és más szabványosított értékelési feladatok terén. A hírhedt OpenAI GPT-2 modellnek például sikerült meggyőző hamis híreket írni.

Az ilyen eredmények azonban egyre több képzést igényeltek.az internetről húzott mondatokból származó, kiterjesztett adatállományok nagy modelljei. Ez a megközelítés számszerűen költséges és nagyon energiaigényes.

A kutatók négy modellt vizsgáltakAzok a területek, amelyek a legnagyobb teljesítményű ugrásokért felelősek: Transformer, ELMo, BERT és GPT-2. Mindegyiküket a nap folyamán egyetlen GPU-val képezték az energiafogyasztás mérésére.

Ezután megtették a képzés óráit,a modell forrásdokumentumaiban meghatározott, a teljes tanulási folyamat során felhasznált teljes energia kiszámításához. Ezt az összeget szén-dioxid-egyenértékre konvertáltuk, amely megfelel az AWS energiafelhasználási szerkezetének, az Amazon legnagyobb felhőszolgáltatójának.

Kiderült, hogy a számítási és a környezetia képzési költségek a modell méretével arányosan növekedtek, majd többször növekedtek, amikor a modell végső pontosságát kiigazították. Olyan neurális architektúra megtalálása, amely egy modell optimalizálására törekszik egy neurális hálózat struktúrájának fokozatos megváltoztatásával a próba és a hiba révén, rendkívül magas költségekkel jár, kis teljesítménynövekedéssel. Enélkül a legdrágább BERT modell 1400 font (635 kg) szénlábnyomot hagyott, ami közel áll a kétirányú transz-amerikai járathoz.

Ezenkívül ezeket az adatokat csak alapértékeknek kell tekinteni.

"Egy modell tanulása a minimális összega munka, amit tehetünk, ”mondja Emma Strubell, a cikk vezető szerzője. A gyakorlatban sokkal valószínűbb, hogy az AI-kutatók egy új modellt dolgoznak ki a semmiből, vagy egy meglévő alkalmazást alakítanak ki, ami sok további képzési és hangolási ciklust igényel.

Általánosságban, a tudósok szerint, a folyamat létrehozása ésa végleges modell tesztelése, melyet érdemes kiadni, hat hónapon belül 4789-es képzési modellt igényelt. A CO2-egyenérték tekintetében ez körülbelül 35 000 kg.

E számok jelentősége óriási, különösen, haFigyelembe kell venni az AI-kutatás jelenlegi trendjeit. Általánosságban elmondható, hogy az AI területén végzett kutatás elhanyagolja a hatékonyságot, mivel a nagy neurális hálózatokat hasznosnak tartják a különböző feladatokhoz, és a korlátlan számítástechnikai erőforrásokkal rendelkező vállalatok versenyelőnyt szereznek.

De az éghajlat számára ez nem lesz nagyon jó. Nézze meg a neurális hálózatokat a Telegram csatornánkban.