изследване

Какво е по-чисто за околната среда: преподаване на модел за ИИ или пет коли?

Изкуствен интелект честов сравнение с петролната индустрия: след добива и преработката данните, като петрола, могат да се превърнат в много печеливша стока. Сега обаче става ясно, че тази метафора се разширява. Подобно на изкопаемите горива, дълбокото обучение има огромно въздействие върху околната среда. В новата работа учените от Университета на Масачузетс в Амхерст проведоха оценка на жизнения цикъл на изучаването на няколко общи големи модела на изкуствен интелект.

Оказа се, че в резултат на този процесизлъчват повече от 626 000 паунда (около 300 000 кг) в еквивалент на въглероден диоксид, което е почти пет пъти повече от емисиите на обикновен автомобил за пет години (включително производството на самия автомобил).

Как се преподават AI моделите

Това е удивително количествено определение за това, което изследователите на изкуствен интелект отдавна подозират.

- Въпреки че много от нас мислят за товаабстрактното, размазано ниво, цифрите показват мащаба на проблема, ”казва Карлос Гомес-Родригес, специалист по информатика в Университета в Коруня в Испания, който не е участвал в проучването. "Нито аз, нито другите изследователи, с които ги обсъждахме, не мислехме, че въздействието върху околната среда ще бъде толкова значимо."

Обработка на естествен език на отпечатъци от въглища

Работата специално разглежда този процесизучаване на модел за обработка на естествен език (НЛП), подполе AI, което преподава машини за човешки език. През последните две години НЛП общността достигна няколко важни етапа в областта на машинния превод, завършването на изречения и други стандартизирани задачи за оценка. Прословутият модел на OpenAI GPT-2, например, успя да напише впечатляващи фалшиви новини.

Но такива постижения изискват все повече и повече обучение.големи модели на опънати масиви от изречения, изтеглени от интернет. Този подход е скъпоструващ и много енергоемък.

Изследователите проучиха четири модела в БългарияОбласти, отговорни за най-големите скокове в изпълнението: трансформатор, ELMo, BERT и GPT-2. Те обучаваха всеки от тях на един GPU през деня, за да измерват консумацията на енергия.

След това взеха броя на часовете за обучение,посочени в изходните документи на модела, за изчисляване на общата консумирана енергия за целия учебен процес. Тази сума се превръща в еквивалент на въглероден диоксид, което съответства на структурата на AWS за потребление на енергия от Amazon, най-големият доставчик на облачни услуги.

Оказа се, че е изчислителна и екологичнаразходите за обучение нарастват пропорционално на размера на модела и след това се увеличават многократно, когато се коригира окончателната точност на модела. Намирането на невронна архитектура, която се опитва да оптимизира модела чрез постепенна промяна на структурата на невронната мрежа чрез опити и грешки, води до изключително високи разходи с малка печалба от производителността. Без него най-скъпият модел на BERT остави въглероден отпечатък от 1400 паунда (635 кг), който е близо до двупосочен транс-американски полет.

Освен това тези цифри следва да се разглеждат само като изходни.

"Ученето на един модел е минималната сумаработата, която можете да направите, ”казва Ема Струбел, водещ автор на статията. На практика е много по-вероятно изследователите на ИИ да разработят нов модел от нулата или да адаптират съществуващ, което ще изисква много повече цикли на обучение и настройка.

Като цяло, според учените, процесът на създаване итестване на крайния модел, достоен за публикуване, изискваше обучение за 4789 модела за шест месеца. По отношение на CO2 еквивалента, това е около 35 000 кг.

Значението на тези числа е огромно, особено акоВземете под внимание настоящите тенденции в изследванията на изкуствения интелект. Като цяло, научните изследвания в областта на ИИ пренебрегват ефективността, тъй като големите невронни мрежи са полезни за различни задачи, а компаниите с неограничени компютърни ресурси ще ги използват, за да получат конкурентно предимство.

Но за климата няма да е много добро. Гледайте за невронни мрежи в нашия телеграфен канал.