Шта је чистије за животну средину: подучавање АИ модела или пет аутомобила?

Област вештачке интелигенције честоу поређењу са нафтном индустријом: након вађења и прераде, подаци, као што је нафта, могу постати врло профитабилна роба. Међутим, сада постаје јасно да се ова метафора шири. Као и фосилна горива, дубоко учење има огроман утицај на животну средину. У новом раду, научници са Универзитета у Масачусетсу у Амхерст-у провели су процену животног циклуса учења неколико уобичајених великих модела вештачке интелигенције.

Испоставило се да је резултат овог процесаемитује више од 626.000 фунти (око 300.000 кг) у еквиваленту угљен-диоксида, што је скоро пет пута више од емисије типичног аутомобила за пет година (укључујући производњу самог аутомобила).

Како се уче модели АИ

Ово је невероватна квантитативна дефиниција онога што истраживачи вештачке интелигенције одавно сумњају.

“Иако многи од нас размишљају о томеапстрактни, мутни нивои, бројке показују обим проблема “, каже Царлос Гомез-Родригуез, стручњак за информатику на Универзитету А Цоруна у Шпанији, који није учествовао у студији. "Ни ја, нити други истраживачи с којима смо разговарали, нису сматрали да би утјецај на околиш био толико значајан."

Отисак угља у природном језику

Рад посебно разматра тај процесучење модела за обраду природног језика (НЛП), подпоље АИ које учи машине за људски језик. Током протекле две године, НЛП заједница је достигла неколико важних фаза у области машинског превођења, завршетка реченица и других стандардизованих задатака оцењивања. Злогласни ОпенАИ ГПТ-2 модел, као пример, успео је да напише примамљиве лажне вести.

Али таква достигнућа су захтевала све већу обуку.велики модели на растегнутим скуповима података из реченица извучених из Интернета. Овај приступ је рачунски скуп и веома енергетски интензиван.

Истраживачи су испитали четири модела у СрбијиПодручја одговорна за највеће скокове у перформансама: Трансформер, ЕЛМо, БЕРТ и ГПТ-2. Они су обучавали сваког од њих на једном ГПУ-у током дана да би измерили потрошњу енергије.

Онда су узели број сати обуке,наведене у изворним документима модела, за израчунавање укупне потрошње енергије за цео процес учења. Ова количина је претворена у фунту еквивалента угљен-диоксида, што је одговарало структури потрошње енергије компаније АВС из Амазон-а, највећег провајдера у облаку.

Испоставило се да је то компјутерска и еколошкаТрошкови обуке расли су сразмјерно величини модела, а затим су се повећавали много пута када је коначна прецизност модела била прилагођена. Проналажење неуронске архитектуре која покушава оптимизирати модел постепеним мијењањем структуре неуронске мреже путем покушаја и погрешака изазива изузетно високе трошкове с малим повећањем перформанси. Без ње, најскупљи БЕРТ модел оставио је угљенични отисак од 1.400 фунти (635 кг), што је близу двосмерног трансамеричког лета.

Штавише, ове бројке треба узети у обзир само као полазне основе.

„Учење једног модела је минимални износпосао који можете да урадите “, каже Емма Струбелл, главни аутор чланка. У пракси је много вјероватније да ће АИ истраживачи развити нови модел од нуле или прилагодити постојећи, што ће захтијевати много више циклуса обуке и подешавања.

Генерално, према научницима, процес стварања итестирање коначног модела, вредно објављивања, захтевало је обуку 4789 модела за шест месеци. Што се тиче еквивалента ЦО2, то је око 35.000 кг.

Значај ових бројева је огроман, посебно акоУзмите у обзир тренутне трендове у истраживању АИ. Уопштено, истраживања у области АИ занемарују ефикасност, јер се за велике неуронске мреже сматра да су корисне за различите задатке, а компаније са неограниченим рачунарским ресурсима ће их користити за стицање конкурентске предности.

Али за климу то неће бити баш добро. Пази на неуронске мреже у нашем Телеграм каналу.