整理 | 鄭立源出品 | CSDN（ID：CSDNnews）ChatGPT が数か月間爆発的に成長し続け、その間に Microsoft、Google、Meta などのテクノロジー大手が次々に参入したことを見て、Intel はついにその「競合」を正式に発表しました。先週末、ドイツのハンブルクで開催された国際スーパーコンピューティング会議 (ISC) ハイパフォーマンス会議 (HPC) で、インテルは HPC および AI ワークロードにおけるリーダーシップを実証しただけでなく、驚くべき計画も発表しました。それは、トリビュート国立研究所が協力して、スーパーコンピューター「Aurora」を使った生成AIモデル「Aurora genAI」のパラメータ数は1兆個に達する！ChatGPT のパラメータ サイズはわずか 1,750 億であることに注意してください。つまり、Aurora genAI モデルはそれより少なくとも 5 倍大きくなります。 (画像はインテル公式サイトより)## **AI モデルは Aurora スーパーコンピューティングを利用します**Intel Aurora genAI モデルは、NVIDIA の Megatron と Microsoft の DeepSpeed という 2 つのフレームワークに基づくことが理解されています。▶ Megatron: Transformer に特化して最適化された大規模言語モデルの分散トレーニング用のアーキテクチャは、従来の分散トレーニングにおけるデータの並列処理をサポートするだけでなく、モデルの並列処理もサポートします。▶ DeepSpeed: 大規模な深層学習モデルのトレーニングの最適化に焦点を当て、規模、速度、コスト、可用性を改善することで、1,000 億のパラメーター モデルをトレーニングできる機能を解放し、大規模モデルのトレーニングを大幅に促進します。これら 2 つのフレームワークに加えて、Aurora genAI モデルは、Aurora スーパーコンピューターも利用します。これはインテルがアルゴンヌ国立研究所用に設計したスーパーコンピューターであり、さまざまな遅れを経て最終的に形になりました。現在の公開情報によると、Aurora スーパーコンピューターは Intel Xeon CPU Max および Xeon GPU Max シリーズ チップを搭載しており、合計 10,624 ノード、63,744 個の Ponte Vecchio GPU、21,248 個の Sapphire Rapids Xeon CPU、および 1,024 個の分散非同期オブジェクト ストレージ (DAOS) を備えています。 ) ストレージ ノードと 10.9 PB の DDR5 Optane 永続メモリ。 さらに、インテルは、Aurora スーパーコンピューターの初期のパフォーマンス結果も明らかにしました:「Aurora スーパーコンピューターは、科学およびエンジニアリングのワークロードで優れたパフォーマンスを示し、AMD MI250 GPU の 2 倍のパフォーマンスを持ち、H100 と比較して QMCPACK 量子力学アプリケーションが改善されました。」20% および数百のノードまでほぼ直線的に拡張できます。」特筆すべきは、当初の目標である 1 エクサフロップスと比較して、オーロラ スーパーコンピューターが今年発売されるときには、フロンティアを上回る 2 エクサフロップス以上の倍精度浮動小数点演算性能を提供すると予想されていることです。は世界のスーパーコンピューティング Top500 リストで何度も 1 位にランクされており、スーパーコンピューター (1.194 Exaflop/s) はさらに上位です。## **科学に焦点を当てた生成 AI モデル**強力な Aurora スーパーコンピューティング基盤により、Aurora genAI モデルの規模は小さくないことが運命づけられています。 Intel の公式紹介によると、アルゴンヌ国立研究所が Aurora genAI モデルの国際共同研究を主導しています。「このプロジェクトは、Aurora スーパーコンピューターの可能性を最大限に活用して、DOE 研究所や他の機関と協力して下流科学で使用できるリソースを生成することを目的としています」とアルゴンヌ研究所副所長のリック・スティーブンス氏は述べています。全体として、Aurora genAI は科学に焦点を当てた生成 AI モデルであるため、一般的なテキスト、コード、科学テキスト、生物学、化学、材料科学、物理学、医学などの科学データに基づいてトレーニングされます。結果として得られる AI モデルは、分子や材料の設計から何百万もの情報源の統合知識に至るまで、最大 1 兆のパラメータを持ち、システム生物学、がん研究、気候科学、宇宙論研究など、さまざまな科学的用途に使用できます。 、高分子化学と材料など。 Aurora genAI モデルは、科学を超えて、金融モデリング、自然言語処理、機械翻訳、画像認識、音声認識などの他の分野でも使用できる可能性があります。## **2024年完成予定**さらに、Intel は Aurora genAI モデルに関する詳細情報をまだネタバレしていませんが、海外メディアの報道によると、Intel は 2024 年に Aurora genAI モデルを開発して完成させる予定であり、それがうまくいけば、おそらくそれほど長く待つ必要はありません。このニュースの発表は多くの人々の注目を集め、インテルの AI モデルへの参入により 1 兆パラメータの開始が発表され、人々は GPT-4 などの競合製品の将来の開発に期待を寄せています。▶ 「兆パラメータは特別な制限である必要がありますが、懐疑的になって、それが単に気にする必要がある巨大な整数に過ぎないと言うこともできます。このモデルが GPT-4 に似ている場合、これによりデータ ポイントが追加されることは間違いありません。 . しかし、企業が次々と発表を行っているので、6 月にピークを迎えるのではないかと思います。」▶ 「人々は H100 を使用して新しいシステムを構築しており、すでに大幅に優れた AI GPU が世に出ています。この状況が続く場合、NVIDIA は先を行くために新しいカードをより早く発表する必要があるかもしれません。」▶ 「おそらく GPT-4 は多くのベンチマーク テストで SOTA (最先端技術、特定のタスクにおける最適な方法やモデルを指す) を維持し続けることはすぐにはないだろうし、おそらく将来的には世界でも維持されることになるだろう」トレーニング用の最速のスーパーコンピューターです。参考までに、OpenAI スーパーコンピューターには約 10,000 個の GPU が搭載されていますが、Aurora には 63,744 個の GPU が搭載されています。」参考リンク：
ChatGPTの5倍！インテル、パラメータ1兆のAI大型モデルを正式発表、2024年完成予定
整理 | 鄭立源
出品 | CSDN（ID：CSDNnews）
ChatGPT が数か月間爆発的に成長し続け、その間に Microsoft、Google、Meta などのテクノロジー大手が次々に参入したことを見て、Intel はついにその「競合」を正式に発表しました。
先週末、ドイツのハンブルクで開催された国際スーパーコンピューティング会議 (ISC) ハイパフォーマンス会議 (HPC) で、インテルは HPC および AI ワークロードにおけるリーダーシップを実証しただけでなく、驚くべき計画も発表しました。それは、トリビュート国立研究所が協力して、スーパーコンピューター「Aurora」を使った生成AIモデル「Aurora genAI」のパラメータ数は1兆個に達する！
ChatGPT のパラメータ サイズはわずか 1,750 億であることに注意してください。つまり、Aurora genAI モデルはそれより少なくとも 5 倍大きくなります。
AI モデルは Aurora スーパーコンピューティングを利用します
Intel Aurora genAI モデルは、NVIDIA の Megatron と Microsoft の DeepSpeed という 2 つのフレームワークに基づくことが理解されています。
▶ Megatron: Transformer に特化して最適化された大規模言語モデルの分散トレーニング用のアーキテクチャは、従来の分散トレーニングにおけるデータの並列処理をサポートするだけでなく、モデルの並列処理もサポートします。
▶ DeepSpeed: 大規模な深層学習モデルのトレーニングの最適化に焦点を当て、規模、速度、コスト、可用性を改善することで、1,000 億のパラメーター モデルをトレーニングできる機能を解放し、大規模モデルのトレーニングを大幅に促進します。
これら 2 つのフレームワークに加えて、Aurora genAI モデルは、Aurora スーパーコンピューターも利用します。これはインテルがアルゴンヌ国立研究所用に設計したスーパーコンピューターであり、さまざまな遅れを経て最終的に形になりました。
現在の公開情報によると、Aurora スーパーコンピューターは Intel Xeon CPU Max および Xeon GPU Max シリーズ チップを搭載しており、合計 10,624 ノード、63,744 個の Ponte Vecchio GPU、21,248 個の Sapphire Rapids Xeon CPU、および 1,024 個の分散非同期オブジェクト ストレージ (DAOS) を備えています。 ) ストレージ ノードと 10.9 PB の DDR5 Optane 永続メモリ。
特筆すべきは、当初の目標である 1 エクサフロップスと比較して、オーロラ スーパーコンピューターが今年発売されるときには、フロンティアを上回る 2 エクサフロップス以上の倍精度浮動小数点演算性能を提供すると予想されていることです。は世界のスーパーコンピューティング Top500 リストで何度も 1 位にランクされており、スーパーコンピューター (1.194 Exaflop/s) はさらに上位です。
科学に焦点を当てた生成 AI モデル
強力な Aurora スーパーコンピューティング基盤により、Aurora genAI モデルの規模は小さくないことが運命づけられています。 Intel の公式紹介によると、アルゴンヌ国立研究所が Aurora genAI モデルの国際共同研究を主導しています。
「このプロジェクトは、Aurora スーパーコンピューターの可能性を最大限に活用して、DOE 研究所や他の機関と協力して下流科学で使用できるリソースを生成することを目的としています」とアルゴンヌ研究所副所長のリック・スティーブンス氏は述べています。
全体として、Aurora genAI は科学に焦点を当てた生成 AI モデルであるため、一般的なテキスト、コード、科学テキスト、生物学、化学、材料科学、物理学、医学などの科学データに基づいてトレーニングされます。
結果として得られる AI モデルは、分子や材料の設計から何百万もの情報源の統合知識に至るまで、最大 1 兆のパラメータを持ち、システム生物学、がん研究、気候科学、宇宙論研究など、さまざまな科学的用途に使用できます。 、高分子化学と材料など。 Aurora genAI モデルは、科学を超えて、金融モデリング、自然言語処理、機械翻訳、画像認識、音声認識などの他の分野でも使用できる可能性があります。
2024年完成予定
さらに、Intel は Aurora genAI モデルに関する詳細情報をまだネタバレしていませんが、海外メディアの報道によると、Intel は 2024 年に Aurora genAI モデルを開発して完成させる予定であり、それがうまくいけば、おそらくそれほど長く待つ必要はありません。
このニュースの発表は多くの人々の注目を集め、インテルの AI モデルへの参入により 1 兆パラメータの開始が発表され、人々は GPT-4 などの競合製品の将来の開発に期待を寄せています。
▶ 「兆パラメータは特別な制限である必要がありますが、懐疑的になって、それが単に気にする必要がある巨大な整数に過ぎないと言うこともできます。このモデルが GPT-4 に似ている場合、これによりデータ ポイントが追加されることは間違いありません。 . しかし、企業が次々と発表を行っているので、6 月にピークを迎えるのではないかと思います。」
▶ 「人々は H100 を使用して新しいシステムを構築しており、すでに大幅に優れた AI GPU が世に出ています。この状況が続く場合、NVIDIA は先を行くために新しいカードをより早く発表する必要があるかもしれません。」
▶ 「おそらく GPT-4 は多くのベンチマーク テストで SOTA (最先端技術、特定のタスクにおける最適な方法やモデルを指す) を維持し続けることはすぐにはないだろうし、おそらく将来的には世界でも維持されることになるだろう」トレーニング用の最速のスーパーコンピューターです。参考までに、OpenAI スーパーコンピューターには約 10,000 個の GPU が搭載されていますが、Aurora には 63,744 個の GPU が搭載されています。」
参考リンク：