リサーチ

環境にやさしいものは何ですか?AIモデルまたは5台の車を教えること?

人工知能分野が多い石油産業と比較して:抽出と加工の後、石油のようなデータは非常に有益な商品になることがあります。しかし、この比喩が拡大していることが明らかになりつつあります。化石燃料のように、深層学習は環境に大きな影響を与えます。この新しい研究では、マサチューセッツ大学アマースト校の科学者が、人工知能のいくつかの一般的な大規模モデルの学習のライフサイクルの評価を行いました。

このプロセスの結果として、これは二酸化炭素換算で626,000ポンド(約300,000 kg)以上を排出します。これは5年間の典型的な自動車の排出量のほぼ5倍です(自動車自体の生産を含む)。

AIモデルの教え方

これは、人工知能の研究者が長い間疑ってきたことの驚くべき定量的定義です。

「私たちの多くはそれについて考えていますがスペインのACoruña大学の情報学スペシャリストであるCarlos Gomez-Rodriguez氏は、この研究には参加していません。 「私も、私がそれらについて議論した他の研究者も、環境への影響がそれほど重要になるとは考えていませんでした。」

石炭フットプリント処理自然言語

仕事は特にプロセスを考慮します人間の言語機械を教えるAIサブフィールドである自然言語処理(NLP)のモデルを学ぶ。過去2年間で、NLPコミュニティは、機械翻訳、文章の完成、その他の標準化された評価作業の分野において、いくつかの重要な段階に達しました。例として悪名高いOpenAI GPT-2モデルは、説得力のある偽のニュース記事を書くことに成功しました。

しかし、そのような成果はますます多くの訓練を必要としました。インターネットから引き出された文からの引き伸ばされたデータセットに関する大きなモデル。このアプローチは計算コストが高く、非常にエネルギー集約的です。

研究者らは4つのモデルを検討した。パフォーマンスの最大の飛躍の原因となっている分野は、Transformer、ELMo、BERT、およびGPT-2です。彼らは日中、消費電力を測定するために1台のGPUで各自をトレーニングしました。

それから彼らは何時間もの訓練を受けました、モデルのソースドキュメントで指定されている、学習プロセス全体で消費される総エネルギーを計算する。この金額は、最大のクラウドサービスプロバイダーであるAmazonのAWSのエネルギー消費構造に対応する二酸化炭素のポンド換算量に換算されました。

計算と環境トレーニングコストはモデルのサイズに比例して増加し、その後モデルの最終的な精度が調整されると何度も増加しました。試行錯誤によってニューラルネットワークの構造を徐々に変更することによってモデルを最適化しようと試みるニューラルアーキテクチャを見つけることは、小さな性能向上で非常に高いコストを招く。それがなければ、最も高価なBERTモデルは1,400ポンド(635 kg)の二酸化炭素排出量を残しました。そして、それは双方向のトランスアメリカンの飛行に近いです。

さらに、これらの数値はベースラインとしてのみ考慮されるべきです。

「1つのモデルを学ぶことが最小量です記事の主執筆者であるEmma Strubellは述べています。実際には、AIの研究者がゼロから新しいモデルを開発するか、既存のモデルを適応させる可能性がはるかに高いため、トレーニングと調整のサイクルがさらに必要になります。

一般的に、科学者によると、作成するプロセスと出版に値する最終モデルをテストするには、6ヶ月で4789モデルを訓練する必要がありました。 CO2換算では約35,000kgです。

特にこれらの数字の意味は非常に大きいです。AI研究の現在の傾向を考慮に入れてください。大規模なニューラルネットワークはさまざまなタスクに役立つことがわかっているため、一般に、AIの分野での研究では効率が無視されます。

しかし、気候のためにそれはあまり良くないでしょう。 Telegramチャンネルのニューラルネットワークに注目してください。

EU向けのFacebook通知! FBコメントを表示および投稿するには、ログインする必要があります。