最新調査:AI大規模モデルの2つの大きな問題は「グリーンコンピューティング」で解決する必要がありますか?

出典:アカデミックヘッドライン

画像ソース: Unbounded AIによって生成

人工知能(AI)は、コンピュータビジョン、自然言語処理、時系列分析、音声合成など、多くの分野で広く利用されています。

深層学習の時代、特に大規模言語モデル(LLM)の出現により、ほとんどの研究者は新しい最先端(SOTA)の結果の追求に注意を向けており、その結果、モデルのサイズと計算の複雑さが増しています。 **

高い計算能力の必要性は、より多くの炭素排出量をもたらし、また、資金が限られている中小企業や研究機関の参加を妨げ、研究の公平性を損なうことになります。

コンピューティングリソースと環境への影響に関するAIの課題に対処するために、グリーンコンピューティングはホットな研究トピックになっています。

最近、アントグループは、中国の多くの大学や研究機関と共同で、グリーンコンピューティングで使用される技術を体系的に概説し、次の4つの主要コンポーネントを含むグリーンコンピューティングフレームワークを提案する調査レポートを発表しました。

グリーンネスの尺度:インテリジェントシステムに必要な計算リソースを測定するための重要な要素と方法。 一般的な測定値には、稼働時間、消費電力、モデルサイズなどの直接的な指標と、炭素排出量などの間接的な指標があります。 エネルギー効率の高い AI: 大規模な言語モデルのモデル設計、トレーニング、推論、最適化手法など、AI モデルのライフサイクル全体を最適化して、トレーニングと推論の消費電力を削減するためのエネルギー効率の高い方法。 エネルギー効率の高いコンピューティング: クラスター リソースのスケジューリング、パーティション分割、データ管理の最適化など、コンピューティング システムのリソース消費を最適化するための手法。 持続可能性のための AI: 環境効率 (環境のためのグリーン コンピューティング) やエンジニアリング効率 (エンジニアリングのためのグリーン コンピューティング) のアプリケーションなど、持続可能性を向上させるために AI を採用したアプリケーション。 環境グリーンコンピューティングには、大気汚染排出量のモニタリングや衛星画像CVを使用した炭素隔離推定などのアプリケーションが含まれ、エンジニアリンググリーンコンピューティングには、データベースセキュリティ暗号化の最適化が含まれます。

「この新しい研究の方向性は、リソースの制約とAI開発の間の対立に対処する可能性を秘めています」と研究は述べています。 "

この研究論文は、「On the Opportunities of Green Computing: A Survey」と題し、プレプリントサイトarXivに掲載されました。

論文リンク集:

多くの AI アルゴリズムのトレーニングと推論のケースでは、モデル サイズ、パラメーターの調整、およびトレーニング データが、コンピューティング リソースに影響を与える 3 つの主要な要因になっています。 **これに基づいて、この調査では、ランタイム、モデルサイズ、FPO/FLOPS(浮動小数点オペランド)、ハードウェアの消費電力、エネルギー消費量、炭素排出量など、6つの一般的な「環境に優しい」測定値をまとめています。 **

「環境に優しい」測定値を追跡するためのツールには、tfprof、Green アルゴリズム、CodeCarbon、Carbontracker、Automated AI Model Environmental Tracking Toolkit などがあります。

画像分類、物体検出、およびその他のAIタスクでは、LeNet、VGG、GoogleNetなどの従来のディープラーニングニューラルネットワークモデルの一部は優れたパフォーマンスを達成していますが、過剰なコンピューティングリソースを必要とします。 したがって、この研究では、この問題を解決するために、Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution、Shrinked Convolutionなどの方法を使用することを提案しています。 **

また、グラフデータに基づくニューラルネットワークの開発という点では、GCNに必要な主要な構成要素を含むImprovedGCNも提案しています。 さらに、この研究では、事前に計算された近接表現を集約するために別のタイプのニューラルネットワークであるSeHGNNを推奨し、複雑さを軽減し、各トレーニングサイクル中に隣接する頂点を繰り返し集約する冗長な操作を回避します。

時系列分類の観点では、一般的に使用されるアンサンブル学習法は多くの計算リソースを必要とします。 このため、この研究では、この問題を解決するために、LightTSとLightCTSの2つの方法を使用することを推奨しています。 **

さらに、Transformer は強力なシーケンス モデルですが、シーケンスの長さが長くなると、必要な時間とメモリが指数関数的に増加します。 セルフアテンションタイプのネットワークは、長いシーケンスを処理するときに多くのメモリとコンピューティングリソースを必要とします。 この目的のために、この研究では、この課題に対処するために、効果的な注意とEdgeBERTおよびR2D2モデルの使用を推奨しています。 **

特定のニューラルネットワークコンポーネントの設計に加えて、低ランクモジュール戦略、静的パラメータ共有、動的ネットワーク、スーパーネットワークなど、効率的なニューラルネットワーク構造設計に使用できるいくつかの一般的な戦略があります。 これらのストラテジーは、あらゆるパラメトリック構造にシームレスに統合できます。

モデルトレーニングに関しては、効果的なトレーニングパラダイム、トレーニングデータの効率、およびハイパーパラメータの最適化の方法をまとめています。 グリーンAIを実現し、ニューラルネットワークのエネルギー消費を削減するために、モデルプルーニング、低ランク分解、量子化、蒸留などの効果的な方法を採用できます。

エネルギー効率の高いコンピューティングシステムに関しては、クラウドデータベースリソースの使用の最適化、ハードウェアとソフトウェアの共同設計などのソリューションの概要が示されており、これらの原則は、ハイブリッドクエリ最適化や機械学習などの手法を使用してプロセスのエネルギー効率を向上させるなど、データ分析の分野にも適用できます。

特に、グリーンコンピューティングは、AI自体の開発と運用においてエネルギー効率が高いだけでなく、環境と持続可能性の課題を解決するためにさまざまなグリーンアプリケーション分野に積極的に参加する必要があることを強調しています。

本研究では、AIが大気汚染モニタリング、炭素隔離推定、炭素価格予測など幅広い分野をカバーするモニタリングデータ、リモートセンシングデータ、気象データから有用な情報を効果的に抽出し、意思決定や行動を導くことができると指摘しています。

現在、グリーンコンピューティングはエネルギー効率と炭素削減に成功していますが、コンピューティングリソースは依然として業界の成長のボトルネックとなっています。 この目的のために、この研究は、モデル評価に「グリーンネス」測定を含めること、グリーンネスを評価するための広く受け入れられているフレームワークの開発、より小さく、より効率的な言語モデルの探求、環境への影響を減らすためのより多くの産業アプリケーションの奨励など、多くの将来の研究の方向性を提案しています。 **

さらに、この調査では、グリーンコンピューティングの将来は、環境の持続可能性とAIの効率性のバランスをとるための学界、産業界、政府の共同の取り組みにかかっていると指摘しています。 政策支援、イノベーションの協力、ベストプラクティスの共有は、この分野でのさらなる発展を促進するための鍵となるでしょう。