こちらは2023年のQualcomm Snapdragon Summitのデモ体験ホールで、上記の携帯電話で披露されたAI機能はすべて、カンファレンスで公開されたばかりのSnapdragon 8 Gen 3(第3世代Snapdragon 8)プロセッサチップの演算能力に依存しています。
AIラージモデルが普及している今、クアルコムは今年の記者会見で、PCやスマートフォンに代表されるモバイル端末向けに、それぞれSnapdragon X EliteとSnapdragon 8 Gen 3チップの2つの新製品を発表し、数百億のパラメータラージモデルのローカル動作を実現し、生成AIの魔法のような能力をモバイルデバイスの「組み込み機能」にしました。
Qualcomm Snapdragon Summitで「ターミナルAI」の時代到来を解説|Geek Park
今日の多くの生成AI会話アプリケーションなど、クラウド上のAIは見知らぬ人ではないかもしれませんが、端末AIの実装には高いハードウェア要件があるため、Qualcommの記者会見での2つの新しいチップ、Snapdragon X EliteとSnapdragon 8 Gen 3は特に目を引くものです。
おそらく、この日最もエキサイティングだったのは、Snapdragon X EliteのRyon CPUが、シングルスレッドでのパフォーマンスの点でAppleの自慢のM2 MAXチップ**とIntelのi9-13980HXを上回っただけでなく、同じパフォーマンスで後者よりも70%少ないエネルギーを消費したことです。
スーパーコンピューティングパワーにより、これまでクラウドでしか利用できなかった生成AI会話体験を、PC側で最大130億個のパラメータを持つ大規模言語モデルを実行できるSnapdragon X Eliteチップを搭載したコンピューターのローカル環境に正常に実装でき、トークン生成速度はユーザーの読み取り速度よりも速い毎秒30トークンに達します。 同時に、Stable Diffusionで生成された画像は、1秒未満で驚くほど高速です。
Snapdragon Summitで、クアルコムは、第3世代のSnapdragon 8およびSnapdragon X Eliteプラットフォームをサポートするために、Qualcommによって完全に最適化、テスト、検証された、開発者のニーズを満たす一連のモデルであるAIソフトウェアスタックモデルも発表しました。
大型モデルを携帯電話に搭載し、AIが世界を変える幕を開ける
出典: Geek Park
著者: Jing Yu
カメラのインターフェースを開くと、プレゼンターは目の前の風景を写真に収めます。 アルバムの中で、この画像を見つけて「拡大」機能を選択しますが、写真に写っていなかった周辺部分が魔法のように周辺に「拡大」されています。
一方、来場者のためにセルフィーを撮るのに携帯電話が使われているようで、その正面カメラエリアに入ると、セルフィーの人が動き続けても、写真に写っている人物の画像の背景がリアルタイムで置き換えられ、仮想背景が摩耗しておらず、遅延がほとんど感じられないことがわかります。
また、もう少し詳しく見ると、デモンストレーションに使用されるすべての電話が機内モードになっていることがわかります - つまり、上記のすべての複雑さは電話のローカルチップで実行されます。
こちらは2023年のQualcomm Snapdragon Summitのデモ体験ホールで、上記の携帯電話で披露されたAI機能はすべて、カンファレンスで公開されたばかりのSnapdragon 8 Gen 3(第3世代Snapdragon 8)プロセッサチップの演算能力に依存しています。
AIラージモデルが普及している今、クアルコムは今年の記者会見で、PCやスマートフォンに代表されるモバイル端末向けに、それぞれSnapdragon X EliteとSnapdragon 8 Gen 3チップの2つの新製品を発表し、数百億のパラメータラージモデルのローカル動作を実現し、生成AIの魔法のような能力をモバイルデバイスの「組み込み機能」にしました。
「クラウドAI」に加えて、チップの急速な発展に伴い「ターミナルAI」が実現され、両者が連携する「ハイブリッドAI」の時代が到来したのかもしれません。
01 データセンターから携帯電話、PCまでAI
「私たちは次の変革の始まりを目の当たりにしたばかりです。そして、それは広範囲に及びます。 **」
クアルコムの社長兼CEOであるクリスティアーノ・アモンは、フィーチャーフォンからスマートフォン、そして未来へと続く携帯電話について、デバイスとクラウドを組み合わせた「ハイブリッドAI」を予測しました。
今日の多くの生成AI会話アプリケーションなど、クラウド上のAIは見知らぬ人ではないかもしれませんが、端末AIの実装には高いハードウェア要件があるため、Qualcommの記者会見での2つの新しいチップ、Snapdragon X EliteとSnapdragon 8 Gen 3は特に目を引くものです。
おそらく、この日最もエキサイティングだったのは、Snapdragon X EliteのRyon CPUが、シングルスレッドでのパフォーマンスの点でAppleの自慢のM2 MAXチップ**とIntelのi9-13980HXを上回っただけでなく、同じパフォーマンスで後者よりも70%少ないエネルギーを消費したことです。
さらに、強力なOryon CPU、Hexagon NPU、Adreno GPUは、X EliteのヘテロジニアスAIエンジンのサポートにより、3つのプロセッサユニットで75 TOPの全体的な計算能力を実現できます。
スーパーコンピューティングパワーにより、これまでクラウドでしか利用できなかった生成AI会話体験を、PC側で最大130億個のパラメータを持つ大規模言語モデルを実行できるSnapdragon X Eliteチップを搭載したコンピューターのローカル環境に正常に実装でき、トークン生成速度はユーザーの読み取り速度よりも速い毎秒30トークンに達します。 同時に、Stable Diffusionで生成された画像は、1秒未満で驚くほど高速です。
現場では、生成ボタンを指でクリックすると、一瞬で画像が完成するのですが、人々は長い間、生成的な対話がぼやけたものから鮮明なものまで画像を生成するのを待つことに慣れてきたので、その体験は素晴らしいものです。
スマートフォンのフラッグシップチップであるSnapdragon 8 Gen 3はX Eliteに遠く及ばず、AIの面では数百億のパラメータを持つ大規模モデルをローカルで実行できるだけでなく、わずか0.6秒で画像を生成できます。
今年の第1四半期だけでも、Qualcommのデモでは10億個のパラメータを持つ大規模なモデルをローカルでしか実行できず、画像の生成速度は15秒に制御されていました。 クアルコムは「ターミナルAI」を飛躍的に成長させるために、どのような「魔法」を使っているのでしょうか?
Snapdragon 8 Gen 3の場合、QualcommはまずLlama 2のような大きなモデルを量子化し、AIソフトウェアスタックを使用して圧縮し、量子化されたモデルを超高速DDRメモリにロードし、超高速スループットでHexagon NPUにモデルを入力できます。
クアルコムは、マイクロアーキテクチャを大幅に改善しました。 マイクロスライス推論ハードウェアのアップグレードに加えて、チームは最適なパフォーマンスとエネルギー効率のために、テンソル加速器に個別の電力供給トラックも追加しました。 同時に、Qualcommはスカラーおよびベクトルアクセラレータのクロック速度を向上させ、大容量共有メモリの帯域幅を2倍にしました。 Hexagon NPUのこれらの改良により、Hexagon NPUは大規模モデル推論のための主要なアクセラレータとなっています。
また、クアルコムは音声ベースの会話で「投機的デコード」技術を使用しており、これも端末で初めて使用されています。 この技術は、元のモデルのほぼ半分のサイズの「ドラフトモデル」アルゴリズムを使用しており、CPUで大量の推論を行った後、3つの投機的トークンを迅速に生成します。
マスター モデルは 3 つのタグすべてを一度に処理し、受け入れるタグを決定します。 優れたドラフトモデルは、高い受け入れ率で次のトークンを予測し、精度を維持しながらトークン生成率を2倍にします。 最後に、AI アシスタントによって生成された音声は、CPU 上で動作するテキスト読み上げ AI モデルによって生成されます。
これは、Qualcomm AI Engine(NPU)をCPU、GPU、Qualcomm Sensor Hub、超高速メモリと組み合わせて、デバイス側のAIユースケースを完成させるプロセスです。
しかし、複雑だが効率的なジェネレーティブAIの応用事例の背後には、クアルコムがデバイスサイドAIの方向に長年蓄積し、探求してきたことがある。
02 ターミナルAIの進化
データセンターのシナリオにおけるクラウドAIハードウェアの進化について話す場合、シンボルはNVIDIAのグラフィックカードです。 次に、デバイス側のAIの開発はQualcomm AIエンジンによって特徴付けられますが、もちろん、ハードウェアレベルの最も重要な部分は、絶えず進化するSnapdragon Hexagon NPUプロセッサです。
2007年、QualcommはSnapdragonプラットフォームで最初のHexagonプロセッサを発表しました。
2015 年、Qualcomm は AI テクノロジーをプロセッサに統合し、AI を使用して画像、音声、センサーのコンピューティングを強化しました。
2017年、QualcommはSnapdragon 845チップにHexagon 685 DSPを導入し、スマートフォンが画像認識や音声処理などの複雑なAIタスクをより迅速に実行できるようにします。
翌年の2018年、Snapdragon 855は第4世代のAIエンジンをアップグレードし、Hexagonプロセッサにテンソルアクセラレータを追加し、AI処理のパフォーマンスを3倍に向上させました。
Snapdragon 865では、Hexagon 698 DSPが導入され、AIのパフォーマンスと効率が向上しました。 このリリースでは、AIアクセラレーションに重点が置かれ、AIモデルの実行が最適化され、スマートフォンでAIアプリケーションをより高速に実行できるようになりました。 2020年末のSnapdragon 888に搭載されたHexagon 780 DSPは、最大26TOPSのAI性能を発揮します。
これまで、Snapdragon X Eliteと8つのGen 3チップは75TOPの計算能力を提供することができましたが、過去7年間のQualcommチップのAI処理能力をグラフ化すると、「AI曲線」が急激な上昇傾向を示しており、まだ止まっていないことがわかります。
端末AIの能力向上には、ハードウェアだけでなく、AIソフトウェアレベルでのクアルコムの取り組みも欠かせません。 クアルコムのAIソフトウェアスタックは、すべてのAIソフトウェア製品を統合ソリューションに統合しています。 OEMと開発者は、Qualcomm AIエンジンのパフォーマンスを最大限に活用して、Qualcomm製品に基づいてAIアプリケーションを作成、最適化、および展開できるため、AI開発者はAIモデルを一度作成して、さまざまな製品に展開できます。
Snapdragon Summitで、クアルコムは、第3世代のSnapdragon 8およびSnapdragon X Eliteプラットフォームをサポートするために、Qualcommによって完全に最適化、テスト、検証された、開発者のニーズを満たす一連のモデルであるAIソフトウェアスタックモデルも発表しました。
Qualcomm Neural Network Processing SDKとQualcomm AI Engine Directは、Qualcomm AIソフトウェアスタックの中核であり、チップをすべての主要なAIフレームワークに接続します。 マネージド モデルの TF Lite と ONNX RT を使用すると、ユーザーは Tensorflow と ONNX を直接使用することもできるため、開発者は好みの作業環境を自由に選択できます。
クアルコムは多くの巨人や大規模モデルのスタートアップと提携しており、クアルコムのAIソフトウェアスタックモデルのリリース時点では、すでに30以上の大規模モデルがサポートされており、その数は今も増え続けており、ソフトウェアスタックモデルは人気のモデルホスティングプラットフォームHugging Faceにも登場します。
第8世代となったQualcommのAIエンジンは、複数のハードウェアおよびソフトウェアコンポーネントで構成されており、SnapdragonおよびQualcommプラットフォームでデバイス側のAIアクセラレーションを可能にします。
チップの基盤となるハードウェアに基づいて、クアルコムは多数のパートナーを団結させて「ターミナルAI」エコシステムを確立していることがわかります。
なぜ「ターミナルAI」がそれほど重要であり、クアルコムとそのパートナーはそれに投資するための努力を惜しむべきではないのでしょうか?
03 「ハイブリッドAI」の未来
ブラウザやモバイルアプリでは、多くの人が生成AIアプリを使っていますが、このような「クラウドAI」は人々のニーズを満たしているようです。 クラウドAIに対するオンデバイスAIの利点は何ですか?
1つ目は、すぐに対応することです。 過去には、開発者は Stable Diffusion モデルを圧縮して Mac ノートブックで画像を生成しようとしましたが、結果は数時間で測定されます。 しかし、端末上でローカル操作を行った場合、Qualcommが公開しているデモでは、画像を生成するための高速安定拡散の速度が1秒未満に低下しています。
特に、バーチャルヒューマンやリアルタイムのバーチャル背景など、レイテンシーの高い要件を持つシナリオでは、ターミナルAIのローカルコンピューティングの即時性が強調されます。
さらに、貧弱なネットワークの場合、ローカルデバイスのAI機能がユーザーにとって唯一の選択肢になります。
同時に、データが端末上でローカルに実行される場合、セキュリティもクラウドよりも安全です。 たとえば、Snapdragon X Eliteは最新のエンドツーエンドのセキュリティをサポートし、チップからクラウドまで、企業内のすべてのエンドポイントを保護します。 専用のQualcommセキュアプロセッシングユニットは、Microsoft Plutonセキュリティアーキテクチャをサポートし、機密データを保存するように設計されています。
最後に、端末AIの能力向上は、AIアシスタントに「人工知的障害」の汚名を取り除き、資格のある高度にパーソナライズされたパーソナルインテリジェントアシスタントになる機会を実際に与えることができます。 ライブデモンストレーションと同様に、端末側に記録・保存された個人情報や利用習慣などのデータを活用することで、インテリジェントアシスタントは、携帯電話のさまざまなアプリに飛び回ることなく、音声コマンドを受信した後、ホテルや航空券を直接予約することができます。 これらはすべて、クラウド上のAIとは比べものになりません。
10年ほど前、a16zの創業者であるマーク・アンダーソンは「ソフトウェアが世界を飲み込む」と予言したことがあるが、残念ながら現実は裏切られた。 大型モデルによるAIの波の中で、「AIを食い物にするアプリ」が徐々に現実のものになりつつあります。
「AIの予測能力は、端末がユーザー向けに構築されているという事実と相まって、端末とオペレーティングシステム、そしてアプリケーションとクラウドをスマートにします。」
端末AI+クラウドAIで構成される「ハイブリッドAI」が、人々のデバイス利用習慣をどのように変えるのかをAmmomon氏は説明します。
現在までに、Snapdragonプラットフォームを使用している端末の数は30億に達しています。
今後、Oryon CPUがQualcommのさまざまな製品ラインに採用されるように、端末AIの機能は、PCや携帯電話からXRやスマートカーデバイスへと移行し、「ハイブリッドAI」が普及する未来が到来します。
キンギョソウサミットのオープニングは、マウイ島の地元の人々のための特別な儀式であり、海外からの見知らぬ人は、ユニークな法螺貝の楽器と呼びかけを通じて、彼らの無邪気さを示しています。 島の地元の人々は、相手に悪意がなく、信頼できることを確認するために、独特の「呪文」で応答しました。
この感動的なセレモニーは、「ターミナルAI」と「クラウドAI」が融合し、「ハイブリッドAI」の未来を世界にもたらすようなものです。