Snapdragon Summitでは、有名な動画編集ソフトウェアLeonardo da VinciのプロデューサーであるBlackmagic Design氏も、Snapdragon X EliteのAI利用について、AI対応の計算負荷の高いMagic Maskの場合、Snapdragon X EliteはGPUを内蔵したハイエンドの12コアWindowsプロセッサの1.7倍の速度であり、Magic Maskは統合NPUで動作し、同じ12コアプロセッサで動作する場合よりも3倍高速であると述べました。
約3年の半導体業界におけるチップの開発サイクルによると、新たにデビューした第3世代Snapdragon 8モバイルプラットフォームと優れた性能を持つSnapdragon X Eliteは、早くも2020年頃に開発プロセスに入り、Qualcommのモバイルデバイスと人工知能業界への深い理解と把握を示しています。
CPU/GPUの性能だけを基準にコンピュータを置き換える時代は過ぎ去った
出典:シリコン・スター・ピープル
先週、新しい「小さな」デバイスが世界の技術コミュニティの熱意に火をつけました。 これは、OpenAI の CEO である Sam Altman が投資した人類史上初の本格的な AI ハードウェアです。
胸にピンで留められ、多くのメディアで「AI時代のiPhone」と呼ばれたこのハードウェアは、デザインの「急進的」さを際立たせ、従来の中央モバイルデバイスが持っていたはずのディスプレイを直接遮断し、スマートフォンとは独立して動作する必要があります。
アプリケーションレベルでは、GPT4を搭載したAIアシスタントがシステムであり、唯一のアプリでもあります。 ユーザーの音声コマンドがメインコントロールです。 残りのレーザープロジェクションとジェスチャー認識は、インタラクティブシステム全体の補完としてのみ使用され、情報、天気、時刻、日付、ナビゲーション、その他のコンテンツを非常にシンプルなインターフェイスとコントロールでユーザーに提供します。
このモバイルインターネット時代のインタラクションロジックの転覆により、AI Pinは多くのオタクユーザーに愛されています。
ほとんどの一般ユーザーの考えは、スマートフォンを再びアップグレードするために「このインタラクションと機能をスマートフォンに埋め込むことを望んでいる」ということです。
当然のことながら、大規模モデルのさまざまな機能が段階的に実装されるようになると、消費者はCPUやGPUの絶対的な性能だけでなく、モバイルデバイスでAI機能をスムーズに実行できるかどうかを検討する時代に突入しようとしています。 そして、これは必然的に新しい課題と機会をもたらします。
**モバイル端末でAIモデルを普及させる上での課題は?
まず第一に、それはAIモデルによって提案された新しい計算能力要件です。
さまざまなシステムやソフトウェアの負荷に直面していた携帯電話やラップトップとは異なり、大規模なモデルは、以前のAIアプリケーションと比較して、ニューラルスケール、コンピューティング容量、ストレージスペース、および読み取りおよび書き込み速度の点で数十倍に増加しています。
OpenAIの最新のGPT-4モデルを例にとると、業界の噂によると、2018年にリリースされたGPT-1には1億1000万個のパラメータしかないのに対し、1兆8000億個ものパラメータがあるそうです。 スケールの差は10,000倍。
モバイル大規模モデルの適用段階でモデルをスリム化しても、実際のアプリケーションでの推論モデルパラメータ数は70億から100億個にもなります。 モバイル端末のCPUやGPUのハードウェア仕様をアップグレードする従来の方法に頼っていては、数倍、あるいは数十倍に増えたAIコンピューティングの需要に応えることは絶対にできません。
新しい需要を解決するには、インターネットに接続し、ネットワークを使用してコンピューティングプロセスをクラウドに「転送」する方法の2つしかありません。 または、計算能力を向上させ、結果をローカルで直接計算する方法を見つけます。
プロダクトの冒頭で紹介したAIピンは、アメリカの通信事業者のネットワークサービスとパッケージ化・統合されており、月額24ドルの家賃は、OpenAIのサービス機能の支払いだけでなく、モバイルネットワークへの支出にも充てられる。
この一見「簡潔」なアプローチには、多くの疑問もあります。
1つ目は最も危険なプライバシーの問題で、個人データ、個人の生活の断片、さらには一部の非常にプライベートな情報がすべてAI Pinなどのハードウェアによってアップロードされると、データセキュリティリスクにつながります。
一歩下がって考えると、すべてのAIコンピューティングのニーズをクラウドに配置し、データをローカルにアップロードしてからデータをダウンロードするネットワークの品質は、エンドユーザーエクスペリエンスに大きく影響します。 特に海外では、モバイルネットワークのカバレッジが中国ほど良くないため、遅延や応答がない可能性が高くなります。
ローカルコンピューティングパワーの1回限りの購入による先行投資は、継続的にサブスクライブするクラウドコンピューティングパワーの先行投資よりも大きくなりますが、多くの場合、ライフサイクル全体でははるかに費用対効果が高いため、コストの課題にも注意を払う価値があります。 AI ピンを例にとると、開始価格は 699 ドル、家賃は月額 24 ドルで、安くはありません。
以上の3点を総合すると、AI大規模モデルのモバイル化が最適解であるという結論を出すのは難しくありません。
これに対応して、モバイルデバイス業界は、基盤となるハードウェアからトップレベルのエコシステムへの包括的なアップグレードを実行する必要があります。
AI時代のクアルコム
モバイル市場全体を振り返ると、この包括的なアップグレードを推進できるプレーヤーはごくわずかであり、クアルコムはその1つです。
クアルコムは年初MWC2023で、第2世代Snapdragon 8を搭載したスマートフォンで、生成AIモデル「Stable Diffusion」の動作を実演した。 10億個のパラメータのスケールを持つStable Diffusionモデルは、15秒で20ステップの推論を実行し、画像にテキストプロンプトを生成できます。
クアルコムが最近リリースした新しいフラッグシップモバイルプラットフォームである第3世代Snapdragon 8では、クアルコムのAIエンジンであるHexagon NPUのコアが再びアップグレードされ、全体的なパフォーマンスが98%向上し、エネルギー効率が40%向上しました。
最新のHexagon NPUは、2つの常時接続ISP、1つのDPS、2つのマイクロNPU、30%増のメモリ、INT4コンピューティングモードのサポートなど、より強力なQualcommセンサーハブを統合することで、AIパフォーマンスを最大3.5倍向上させています。
直感的な結果、第3世代のSnapdragon 8は、最大100億個のパラメータを持つ生成AIモデルと、20トークン/秒の大規模言語モデルを実行することができます。 また、サポートされているのは数値だけでなく、すでに達成可能な機能です。
このような強力なパフォーマンスにより、第3世代のSnapdragon 8は、大規模なAIモデルに関連する多くのアプリケーションをローカルで実行できるようになりました。
Honor MobileのZhao Ming最高経営責任者(CEO)はSnapdragon Summitで、携帯電話でのテーマ別動画の作成をサポートできる携帯電話での生成AIのユースケースをデモした。 携帯電話システムは、ローカルメディアライブラリで同じテーマの写真やビデオを単独で取得し、AI大規模モデルにビデオを編集させることができます。
ユーザーは後でAIに話しかけることでバックグラウンドミュージックとテンプレートを変更でき、クラウドにアップロードした後にプライベートな写真やビデオデータが誤って漏洩することを心配することなく、このプロセス全体が将来的に完全にローカルになります。
Xiaomi 14シリーズでは、すでに採用されているWPSは、入力テーマでワンクリックでPPTプレゼンテーションを生成するだけでなく、テキスト付きの写真や記事を認識し、「一目見て10行」のスキャンと読み取りを実現し、重要なポイントを抽出し、ユーザーが最も知りたい質問に応じてAIに直接質問することができます。
WPS AIは、書類、契約書、教材などの文書について、スキャンと認識を通じてユーザーが全文を理解、分析、要約するのを支援し、正確性と信頼性を確保するための文書トレーサビリティ機能を提供します。
クアルコムは、強力な第3世代Snapdragon 8モバイルプラットフォームに加えて、これまでで最も強力なPC対応コンピューティングプロセッサであるSnapdragon X Eliteも発表しました。
その中で、CPU部分では、QualcommがARM命令セットとの互換性を前提に完全に再構築されたOryon CPUを提供し、関係者によると、そのシングルコア性能はApple M14 Maxよりも約2%進んでおり、消費電力は30%削減されています。 同時に、CPUのシングルスレッド性能は、高性能ゲーム端末向けに特別に設計されたi9-13980HXを上回り、同じ性能レベルで消費電力を70%削減しています。
Adreno GPUのパフォーマンスも4兆6,000億の浮動小数点演算(TFLOPS)に向上し、4K@120Hz HDR10画面をサポートし、3台のUHDまたは2台の5K外部ディスプレイに拡張されています。
モバイルプラットフォームと比較して、X Eliteのヘテロジニアスコンピューティングパワーはさらに向上し、75TOPSに達し、そのうちHexagon NPUは45TOPSのコンピューティングパワーをサポートしています。 その優れたパフォーマンスのおかげで、130億パラメータのモデルをローカルで実行することができ、70億パラメータの大規模言語モデルは毎秒30トークンを生成できます。
Snapdragon Summitでは、有名な動画編集ソフトウェアLeonardo da VinciのプロデューサーであるBlackmagic Design氏も、Snapdragon X EliteのAI利用について、AI対応の計算負荷の高いMagic Maskの場合、Snapdragon X EliteはGPUを内蔵したハイエンドの12コアWindowsプロセッサの1.7倍の速度であり、Magic Maskは統合NPUで動作し、同じ12コアプロセッサで動作する場合よりも3倍高速であると述べました。
携帯電話やノートパソコンの優れた性能の背後には、クアルコムの強力なチップ性能に加えて、クアルコムの全体的なAIソフトウェアスタックの功績もあります。 たとえば、このサミットで、Qualcommは、SnapdragonチップへのONNX Runtimeクイックアクセスのサポートと、MicrosoftのCompute Driver Model(MCDM)のサポートの追加を発表しました。
前者はMicrosoftが立ち上げた推論フレームワークで、開発者が対応する推論アプリケーションを作成する際により効率的になるように、さまざまな実行中のバックエンドをサポートし、MCDMのサポートに関しては、将来のQualcomm NPUはWindowsシステムでより効率的で直接的なものになるだろう。
エコシステムにおけるクアルコムの取り組みは、端末ベンダーのパートナーが優れた製品を構築するのを支援するだけでなく、ますます多くの独立系ソフトウェアベンダー(ISV)や開発者をクアルコムのエコシステムに引き付け、クアルコムプラットフォーム上でのAI大規模モデルアプリケーションの実装とプロモーションを促進しています。
クアルコムはまだ加速しています
クアルコムは、最初のAI研究プロジェクトを立ち上げて以来、10年以上にわたってAIの分野に深く関わってきました。 モバイルプラットフォームにおける長年の技術蓄積とAI機能の継続的な探求は、AIモデルが上陸した瞬間についに爆発しました。
約3年の半導体業界におけるチップの開発サイクルによると、新たにデビューした第3世代Snapdragon 8モバイルプラットフォームと優れた性能を持つSnapdragon X Eliteは、早くも2020年頃に開発プロセスに入り、Qualcommのモバイルデバイスと人工知能業界への深い理解と把握を示しています。
この最先端テクノロジーの追求と、ユーザーに究極の体験を提供するという当初の意図が、クアルコムを前進させ続けています。 また、通信技術や携帯電話のSoCプラットフォーム化で3G/4G時代から台頭してきたクアルコムは、AIラージモデルという稀有な機会を再びつかむことができました。
このようなクアルコムは、モバイルデバイスの基本的な処理性能だけでなく、AIのパフォーマンスにもっと注意を払う消費者にとって、当然、最初の選択肢になります。