最新調查：AI大模型的兩大難題，要靠「綠色計算」來解決？

原文來源：學術頭條

圖片來源：由無界 AI生成

當前，人工智慧（AI）已廣泛應用於眾多領域，包括計算機視覺、自然語言處理、時間序列分析和語音合成等。

在深度學習時代，尤其是隨著大型語言模型（LLMs）的出現，**大多數研究人員的注意力都集中在追求新的最先進（SOTA）結果上，使得模型規模和計算複雜性不斷增加。 **

對高計算能力的需求帶來了更高的碳排放，也阻礙了資金有限的中小型公司和研究機構的參與，從而破壞了研究的公平性。

為了應對 AI 在計算資源和環境影響方面的挑戰，綠色計算（Green Computing）已成為一個熱門研究課題。

近日，螞蟻集團攜手國內眾多高校和研究機構共同發佈一項調查報告，系統地概述了綠色計算所使用的技術，並提出了一個綠色計算框架，其中包括以下四個關鍵組成部分：

• 綠色衡量指標（Measures of Greenness）：衡量智能系統所需計算資源的關鍵因素和方法。 常見的測量指標包括直接指標，如運行時間、電力消耗和模型大小，也包括間接指標，如碳排放。
• 節能 AI（Energy-Efficient AI）：優化 AI 模型整個生命週期的節能方法，包括模型設計、訓練、推理，還包括針對大型語言模型的優化技術，從而減少訓練和推理的功耗。
• 節能計算系統（Energy-Efficient Computing s）：優化計算系統資源消耗的技術，包括集群資源調度、分區和數據管理優化。
• 可持續性 AI 應用（AI for Sustainability）：採用 AI 來提高可持續性的應用，包括用於環境效益（用於環境的綠色計算）和提高工程效率（用於工程的綠色計算）的應用。 環境綠色計算包括利用衛星成像 CV 監測空氣污染排放和碳封存估計等應用，工程綠色計算包括優化資料庫安全加密等。

該研究指出，“這一新的研究方向有可能解決資源限制和 AI 發展之間的衝突。 ”

相關研究論文以“On the Opportunities of Green Computing： A Survey”為題，已發表在預印本網站 arXiv 上。

論文連結：

從眾多 AI 演算法的訓練和推理案例中，模型大小、參數調優和訓練數據成為影響計算資源的三大主要因素。 **在這基礎上，該研究總結了六種常見的“環保性”測量方法，包括運行時間、模型大小、FPO/FLOPS（浮點運算操作數）、硬體功耗、能源消耗以及碳排放。 **

用於跟蹤「環保性」測量的工具包括 tfprof、綠色演算法、CodeCarbon、Carbontracker 以及自動 AI 模型環保性追蹤工具包。

在圖像分類、目標檢測和其他 AI 任務中，一些傳統的深度學習神經網路模型，如 LeNet、VGG、GoogleNet 等，雖然取得了不錯的性能，但卻需要過多的計算資源。 因此，**該研究提出使用 Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution 以及Shrinked Convolution 等方法來解決這一問題。 **

此外，在開發基於圖數據的神經網路方面，該研究還提出了ImprovedGCN，其中包含 GCN 的主要必要組成部分。 另外，該研究還推薦了另外一種神經網路——SeHGNN，用於匯總預先計算的鄰近表示，降低了複雜性，避免了在每個訓練週期中重複聚合鄰近頂點的冗餘操作。

在時間序列分類方面，目前常用的集成學習方法需要大量計算資源。 為此，**研究建議使用LightTS 和 LightCTS 兩種方法來解決這個問題。 **

另外，Transformer 是一個強大的序列模型，但隨著序列長度的增加，其需要的時間和記憶體呈指數級增長。 自注意力（Self-Attention）類型的網路在處理長序列時需要大量記憶體和計算資源。 **為此，研究建議使用 Effective Attention 以及 EdgeBERT 和 R2D2 兩種模型來應對這一挑戰。 **

除了特定神經網路元件的設計，還有一些通用策略可以用於高效的神經網路結構設計，例如**低秩模組策略、靜態參數共用、動態網路和超級網路等策略。 **這些策略可以無縫地集成到任何參數化結構中。

在模型訓練方面，研究總結了有效訓練範式、訓練數據效率以及超參數優化三個方面的方法。 為了實現綠色 AI，降低神經網路的能源消耗，可以採用模型剪枝、低秩分解、量化和蒸餾等有效方法。

在節能計算系統方面，研究簡要介紹了包括優化雲資料庫資源利用、硬體和軟體協同設計等多方面的解決方案，這些原則也同樣適用於數據分析領域，包括利用混合查詢優化和機器學習等技術，以提高處理過程的能源效率。

值得注意的是，綠色計算強調的是 AI 不僅在其自身的開發和運行中應具備能源效率，還應積极參與各種綠色應用領域，以解決環境和可持續性挑戰。

研究指出，AI 能夠有效地從監測數據、遙感數據和氣象數據中提取有用資訊，其中涵蓋了空氣污染監測、碳封存估算、碳價格預測等眾多領域，從而為決策和行動提供指導。

目前，儘管綠色計算已經在能源效率和碳減排方面取得成功，但計算資源仍然成為產業增長的瓶頸。 **為此，該研究提出了一些未來研究方向，包括在模型評估中加入“綠色度”測量，制定廣泛接受的綠色度評估框架，探索更小但更高效的語言模型，以及鼓勵更多工業應用以降低對環境的影響。 **

另外，研究指出，**綠色計算的未來將依賴於學術界、產業界和政府的共同努力，**以實現環境可持續性和 AI 效率的平衡發展。 政策支援、創新合作和最佳實踐分享將是推動這一領域進一步發展的關鍵。