元のソース: 元川科学技術レビュー
画像ソース:無制限のAIによって生成
先月、AI業界で「動物戦争」が勃発しました。
一方にはMetaのLlama(ラマ)があり、オープンソースの性質から歴史的に開発者コミュニティに人気があります。 ラマの論文とソースコードを慎重に研究した後、NECはすぐに日本語版のChatGPTを「独自に開発」し、日本のAIネック問題の解決を支援しました。
**反対側にはファルコン(ファルコン)と呼ばれる大型モデルがあります。 **今年5月、Falcon-40Bが打ち上げられ、「オープンソースLLM(大規模言語モデル)ランキング」でラマを破りました。
オープンソースのモデルコミュニティであるHugging faceによって作成されたこのリストは、LLMの機能を測定するための一連の基準を提供し、それらをランク付けします。 リーダーボードは基本的にラマとファルコンが交代でチャートをスクロールします。
ラマ2の発売後、ラマ家は都市を取り戻しました。 しかし、9月初旬、ファルコンは180Bバージョンを発売し、再びより高いランキングを達成しました。
ファルコンは68.74ポイントでラマ2を粉砕しました
興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都アブダビに拠点を置く科学技術イノベーション研究所です。 政府筋は、「私たちはコアプレーヤーを転覆させるためにこのゲームに関与している」と述べた。[4] 。
バージョン180Bのリリースの翌日、UAEの人工知能大臣オマールは、タイム誌の「AIの分野で最も影響力のある100人」の1人に選ばれました。 この中東の顔に加えて、「AIのゴッドファーザー」ヒントン、OpenAIのアルトマン、ロビン・リーがいました。
アラブ首長国連邦人工知能大臣
今日、AI分野はすでに「グループダンス」の段階に入っています:少しの財源を持つすべての国と企業は、多かれ少なかれ「ChatGPTのXX全国版」を作成する計画を立てています。 湾岸諸国だけでも複数のプレーヤーがいます–サウジアラビアは、LLMを訓練するために8月に大学のために3,000台以上のH100を購入したばかりです。
GSRリバーのベンチャーキャピタルであるZhu Xiaohuは、かつて友人の輪の中で不平を言いました:「当時、私は(インターネットの)ビジネスモデルの革新を見下し、障壁がないと感じました。百連隊戦争、百の自動車戦争、百の放送戦争。 ハードテクノロジーのビッグモデル起業家精神がまだ百モデル戦争であるとは思っていませんでした...」
国と言われる高難易度ハード技術が、どうして1ムーあたり10万匹の猫を産むことができるのか。
アメリカの新興企業、中国のハイテク巨人、中東の石油男爵は、有名な論文「注意が必要なすべて」のおかげで、大きなモデルを夢見ることができました。
2017年、8人のGoogleコンピューター科学者がこの論文でトランスフォーマーアルゴリズムを世界に公開しました。 この論文は現在、人工知能の歴史の中で3番目に引用されている論文であり、トランスフォーマーの出現は、この一連の人工知能ブームの引き金を引いた。
国籍に関係なく、世界を揺るがすGPTシリーズを含む現在のビッグモデルは、トランスフォーマーの肩の上に立っています。
これ以前は、「機械に読むように教える」ことは、認識された学術的問題でした。 画像認識とは異なり、人間がテキストを読むとき、彼らは現在見ている単語や文章に注意を払うだけでなく、文脈の中でそれらを理解します。
たとえば、「トランスフォーマー」という言葉は実際には「トランスフォーマー」と翻訳できますが、この記事の読者は、これがハリウッド映画に関する記事ではないことを誰もが知っているため、このように理解することはできません。 **
しかし、初期のニューラルネットワークの入力は互いに独立しており、大きな段落のテキストや記事全体を理解する能力がなかったため、「沸騰したお湯の部屋」を「オープンウォータールーム」に変換する問題が発生しました。
Googleで働き、後にOpenAIに移ったコンピューター科学者のIlya Sutskeverが最初に結果を生み出したのは2014年のことでした。 彼はリカレントニューラルネットワーク(RNN)を使用して自然言語を処理し、Google翻訳のパフォーマンスを競合他社とは一線を画しました。
RNNは、各ニューロンが現在の瞬間の入力情報と前の瞬間の入力情報の両方を受け入れるように、「ループ設計」を提案し、ニューラルネットワークが「コンテキストを組み合わせる」機能を持つようにします。
リカレントニューラルネットワーク
RNNの出現は学界での研究への情熱に火をつけ、トランスフォーマー論文の著者であるノーム・シャジールもそれに夢中になりました。 しかし、開発者はすぐにRNNに重大な欠陥があることに気づきました。
**このアルゴリズムは逐次計算を使用するため、コンテキストの問題を解決できますが、多数のパラメーターを処理するのは効率的ではなく、困難です。 **
RNNの面倒なデザインはすぐにシャゼルを産みました。 そのため、2015年以来、Shazelと7人の友人がRNNの代替品を開発しており、その結果がトランスフォーマーです[8] 。
ノーム・シャジール
RNNと比較すると、トランスフォーマーの変換には2つのポイントがあります。
まず、RNNのループ設計が位置コーディングに置き換えられ、それによって並列コンピューティングが実現します-この変更により、Transformerのトレーニング効率が大幅に向上し、ビッグデータを処理できるようになり、AIを大規模モデルの時代に押し上げます。 第二に、文脈をさらに強化する能力がさらに強化されました。
トランスフォーマーは多くの欠陥を一気に解決したため、「トランスフォーマーは自然に生まれていない、NLPは長い夜のようなもの」という感覚を持つNLP(自然言語処理)の唯一のソリューションに徐々に発展しました。 イリヤでさえ、自分の手で祭壇を持っていたRNNを放棄し、トランスフォーマーに切り替えました。
言い換えれば、トランスフォーマーは、ビッグモデルを理論的な研究問題から純粋に工学的な問題に変えたため、今日のすべてのビッグモデルの祖父です。 **
[9]LLM技術開発ツリー図、灰色の木根はトランスフォーマーです
2019年、OpenAIはトランスフォーマーをベースにしたGPT-2を開発し、かつては学界を驚かせました。 それに応じて、GoogleはすぐにMeenaと呼ばれるより強力なAIを展開しました。
GPT-2と比較して、Meenaには基盤となるアルゴリズムの革新はありませんが、GPT-2の8.5倍のトレーニングパラメーターと14倍の計算能力があります。 トランスフォーマーの論文の著者であるシャゼルは、「暴力的な山」に非常にショックを受けたため、その場で「ミーナは世界をむさぼり食う」というメモを書きました。
トランスフォーマーの出現は、学界における基盤となるアルゴリズムの革新を大幅に遅らせました。 データエンジニアリング、コンピューティングパワースケール、モデルアーキテクチャなどのエンジニアリング要素は、AI競争においてますます重要な勝者と敗者になり、ある程度の技術的能力を持つテクノロジー企業が大規模なモデルを手作業でこすり落とすことができる限り。
したがって、コンピューター科学者のAndrew Ngがスタンフォード大学で講演したとき、彼は「AIは教師あり学習、教師なし学習、強化学習、そして今では生成的人工知能を含むツールのコレクションです」という点に言及しました。 これらはすべて汎用技術であり、電気やインターネットなどの他の汎用技術に似ています。[10] "
OpenAIは依然としてLLMの先駆者ですが、半導体アナリスト会社のSemi Analysisは、GPT-4の競争力はエンジニアリングソリューションから来ていると考えています。
アナリストは、他の大手テクノロジー企業がGPT-4と同じパフォーマンスの大型モデルを作成できるようになるまで、そう長くはかからないかもしれないと予測しています[11] 。
現在、「百モデル戦争」はもはや修辞的な装置ではなく、客観的な現実です。
関連するレポートによると、今年7月の時点で、国内の大型モデルの数は米国の114を上回って130に達し、コーナーオーバーテイクに成功しており、さまざまな神話や伝説は国内のテクノロジー企業が名前を付けるのに十分ではありません[12] 。
中国やアメリカ以外にも、多くの富裕国も当初は「一国一モデル」を実現している:* ※日本やアラブ首長国連邦のほか、インド政府主導の大型モデルバシニ、韓国のインターネット企業ネイバーのハイパークローバXなども存在する。 **
目の前の戦いは、バブルと「紙幣機能」が襲われたインターネットの先駆的な時代に戻ったようです。
前述のように、Transformerは、誰かがお金とグラフィックカードを持っている限り、大きなモデルを純粋にエンジニアリングの問題に変え、残りはパラメータに失われます。 ただし、入場券の入手は難しくありませんが、AI時代に誰もがBATになる機会があるわけではありません。
冒頭で触れた「動物戦争」は典型的なケースで、ファルコンはランキングでラマを破ったものの、メタにどれほどの影響を与えたかを言うのは難しい。 **
ご存知のように、企業は独自の科学研究結果をオープンソース化し、科学技術の幸福を一般の人々と共有するだけでなく、人々の知恵を動員しています。 大学教授、研究機関、中小企業がLlamaの使用と改善を続けるにつれて、Metaはこれらの結果を自社製品に適用できます。
**オープンソースモデルの場合、アクティブな開発者コミュニティがそのコアコンピテンシーです。 **
早くも2015年にAIラボが設立されたとき、Metaはオープンソースのメイントーンを設定していました。 ザッカーバーグはソーシャルメディアビジネスでも財産を築き、「広報で良い仕事をする」という問題に精通しています。
例えば、Metaは10月に「AIクリエイターインセンティブ」キャンペーンを開始し、Llama 2を使用して教育や環境などの社会問題を解決する開発者は、50万ドルの資金を受け取る機会を得ます。
今日、MetaのLlamaシリーズはオープンソースLLMの羽根です。
10月初旬の時点で、Hugging faceのオープンソースLLMリストのトップ8のうち合計10はLlama 2に基づいており、オープンソースライセンスを使用しています。 ハグフェイスだけでも、Llama 1,500オープンソースプロトコルを使用している2以上のLLMがあります[13] 。
10月初旬の時点で、ハグ顔のナンバーワンLLMはラマ2に基づいています
もちろん、Falconのようにパフォーマンスを向上させることは問題ありませんが、今日まで、市場に出回っているほとんどのLLMには、GPT-4との目に見えるパフォーマンスギャップがあります。
たとえば、先日、GPT-4は4.41のスコアでエージェントベンチテストを上回りました。 AgentBench標準は、清華大学、オハイオ州立大学、カリフォルニア大学バークレー校が共同で立ち上げ、オペレーティングシステム、データベース、ナレッジグラフ、カードバトルなどの8つの異なる環境でのタスクを含む、多次元オープンジェネレーション環境におけるLLMの推論能力と意思決定能力を評価します。
テスト結果は、2位でフィニッシュしたクロードが2.77ポイントしか持っていないことを示し、ギャップはまだ明らかでした。 これらの巨大なオープンソースLLMに関しては、テストスコアはGPT-4の1/4未満で、約1ポイントで推移しています[14] 。
エージェントベンチテスト結果
ご存知のように、GPT-4は今年3月にリリースされましたが、これは世界の同業他社が半年以上追いついた後も結果です。 このギャップの原因は、OpenAIの高い「IQ密度」と長期的な研究LLMを持つ科学者チームによって蓄積された経験であるため、常にはるかに先を行くことができます。
言い換えれば、ビッグモデルのコア能力はパラメータではなく、生態学(オープンソース)または純粋な推論能力(クローズドソース)の構築です。 **
オープンソースコミュニティがより活発になるにつれて、LLMはすべて同様のモデルアーキテクチャと同様のデータセットを使用しているため、LLMのパフォーマンスが収束する可能性があります。
もう一つのより直感的な難問:ミッドジャーニーを除いて、大きなモデルはお金を稼いでいないようです。
今年の8月、「OpenAIは2024年末までに倒産するかもしれない」というタイトルの興味深い記事が大きな注目を集めました[16] 。 この記事の主な目的は、OpenAIの燃えるお金が速すぎるという一文にほぼ一文で要約できます。 **
この記事は、ChatGPTの開発以来、OpenAIの損失は急速に拡大しており、2022年だけで約5億4000万ドルを失い、マイクロソフトの投資家が支払うのを待つことしかできないと述べました。
記事のタイトルはセンセーショナルですが、多くの大規模なモデルプロバイダーの現在の状況も伝えています。 **コストと収益の間には深刻な不均衡があります。 **
コストが高すぎるため、現在の人工知能への依存度はNVIDIAだけで大金を稼ぎ、せいぜいBroadcomが追加されています。
コンサルティング会社のOmdiaによると、Nvidiaは今年の第2四半期に30万台以上のH100ユニットを販売しました。 これはAIチップであり、AIのトレーニング効率は非常に高く、世界中のテクノロジー企業や科学研究機関が急上昇しています。 販売された300,000機のH100を積み重ねると、ボーイング747航空機4.5機に相当する重量になります[18] 。
Nvidiaの業績も急上昇し、前年比で854%の収益を急上昇させ、かつてウォール街の顎に衝撃を与えました。 ちなみに、中古市場でのH100の現在の価格は40,000〜50,000ドルと推測されていますが、その材料費は約3,000ドルにすぎません。
計算能力の高コストは、ある程度業界の発展に対する抵抗となっています。 Sequoia Capitalは計算を行いました:グローバルテクノロジー企業は、大規模モデルのインフラストラクチャ建設に年間2,000億ドルを費やすと予想されています。 対照的に、大規模なモデルは年間最大750億ドルしか生み出すことができず、少なくとも1,250億ドルのギャップがあります[17] 。
ジェンセン・ファンとH100
さらに、Midjourneyなどのいくつかの例外を除いて、ほとんどのソフトウェア会社は、莫大な費用を支払った後にお金を稼ぐ方法をまだ理解していません。 特に、業界をリードする2つの兄貴分であるマイクロソフトとアドビは、少しつまずきました。
MicrosoftとOpenAIは、月額10ドルを請求するAIコード生成ツールGitHub Copilotを開発するために協力しましたが、設備のコストのために、Microsoftは20ドルを失い、ヘビーユーザーはMicrosoftに月額80ドルを支払うことさえできます。 この推測に基づくと、30ドルのMicrosoft 365コパイロットは損失ではありません。
偶然にも、Firefly AIツールをリリースしたばかりのAdobeも、ユーザーが頻繁に使用して会社に損失を被るのを防ぐためのサポートポイントシステムもすぐに立ち上げました。 ユーザーが毎月割り当てられたクレジットを超えて使用すると、アドビはサービスの速度を低下させます。
MicrosoftとAdobeはすでに明確なビジネスシナリオと多数の既製の有料ユーザーを持つソフトウェアの巨人であることを知っておく必要があります。 ほとんどのパラメータは空に積み重ねられており、最大のアプリケーションシナリオはチャットです。
OpenAIとChatGPTの出現がなければ、このAI革命はまったく起こらなかったかもしれないことは否定できません。 しかし、現時点では、大規模なモデルをトレーニングすることの価値は疑問符になる可能性があります。
さらに、均質化競争が激化し、市場に出回るオープンソースモデルが増えるにつれて、単純な大規模モデルベンダーの余地が少なくなる可能性があります。
iPhone 4の人気は、45nm A4プロセッサのためではなく、プラント対ゾンビとアングリーバードを再生できるためです。
27k 人気度
25k 人気度
63k 人気度
7k 人気度
45k 人気度
ビッグモデルは少し多すぎませんか?
元のソース: 元川科学技術レビュー
先月、AI業界で「動物戦争」が勃発しました。
一方にはMetaのLlama(ラマ)があり、オープンソースの性質から歴史的に開発者コミュニティに人気があります。 ラマの論文とソースコードを慎重に研究した後、NECはすぐに日本語版のChatGPTを「独自に開発」し、日本のAIネック問題の解決を支援しました。
**反対側にはファルコン(ファルコン)と呼ばれる大型モデルがあります。 **今年5月、Falcon-40Bが打ち上げられ、「オープンソースLLM(大規模言語モデル)ランキング」でラマを破りました。
オープンソースのモデルコミュニティであるHugging faceによって作成されたこのリストは、LLMの機能を測定するための一連の基準を提供し、それらをランク付けします。 リーダーボードは基本的にラマとファルコンが交代でチャートをスクロールします。
ラマ2の発売後、ラマ家は都市を取り戻しました。 しかし、9月初旬、ファルコンは180Bバージョンを発売し、再びより高いランキングを達成しました。
興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都アブダビに拠点を置く科学技術イノベーション研究所です。 政府筋は、「私たちはコアプレーヤーを転覆させるためにこのゲームに関与している」と述べた。[4] 。
バージョン180Bのリリースの翌日、UAEの人工知能大臣オマールは、タイム誌の「AIの分野で最も影響力のある100人」の1人に選ばれました。 この中東の顔に加えて、「AIのゴッドファーザー」ヒントン、OpenAIのアルトマン、ロビン・リーがいました。
今日、AI分野はすでに「グループダンス」の段階に入っています:少しの財源を持つすべての国と企業は、多かれ少なかれ「ChatGPTのXX全国版」を作成する計画を立てています。 湾岸諸国だけでも複数のプレーヤーがいます–サウジアラビアは、LLMを訓練するために8月に大学のために3,000台以上のH100を購入したばかりです。
GSRリバーのベンチャーキャピタルであるZhu Xiaohuは、かつて友人の輪の中で不平を言いました:「当時、私は(インターネットの)ビジネスモデルの革新を見下し、障壁がないと感じました。百連隊戦争、百の自動車戦争、百の放送戦争。 ハードテクノロジーのビッグモデル起業家精神がまだ百モデル戦争であるとは思っていませんでした...」
国と言われる高難易度ハード技術が、どうして1ムーあたり10万匹の猫を産むことができるのか。
トランスフォーマーは世界をむさぼり食う
アメリカの新興企業、中国のハイテク巨人、中東の石油男爵は、有名な論文「注意が必要なすべて」のおかげで、大きなモデルを夢見ることができました。
2017年、8人のGoogleコンピューター科学者がこの論文でトランスフォーマーアルゴリズムを世界に公開しました。 この論文は現在、人工知能の歴史の中で3番目に引用されている論文であり、トランスフォーマーの出現は、この一連の人工知能ブームの引き金を引いた。
国籍に関係なく、世界を揺るがすGPTシリーズを含む現在のビッグモデルは、トランスフォーマーの肩の上に立っています。
これ以前は、「機械に読むように教える」ことは、認識された学術的問題でした。 画像認識とは異なり、人間がテキストを読むとき、彼らは現在見ている単語や文章に注意を払うだけでなく、文脈の中でそれらを理解します。
たとえば、「トランスフォーマー」という言葉は実際には「トランスフォーマー」と翻訳できますが、この記事の読者は、これがハリウッド映画に関する記事ではないことを誰もが知っているため、このように理解することはできません。 **
しかし、初期のニューラルネットワークの入力は互いに独立しており、大きな段落のテキストや記事全体を理解する能力がなかったため、「沸騰したお湯の部屋」を「オープンウォータールーム」に変換する問題が発生しました。
Googleで働き、後にOpenAIに移ったコンピューター科学者のIlya Sutskeverが最初に結果を生み出したのは2014年のことでした。 彼はリカレントニューラルネットワーク(RNN)を使用して自然言語を処理し、Google翻訳のパフォーマンスを競合他社とは一線を画しました。
RNNは、各ニューロンが現在の瞬間の入力情報と前の瞬間の入力情報の両方を受け入れるように、「ループ設計」を提案し、ニューラルネットワークが「コンテキストを組み合わせる」機能を持つようにします。
RNNの出現は学界での研究への情熱に火をつけ、トランスフォーマー論文の著者であるノーム・シャジールもそれに夢中になりました。 しかし、開発者はすぐにRNNに重大な欠陥があることに気づきました。
**このアルゴリズムは逐次計算を使用するため、コンテキストの問題を解決できますが、多数のパラメーターを処理するのは効率的ではなく、困難です。 **
RNNの面倒なデザインはすぐにシャゼルを産みました。 そのため、2015年以来、Shazelと7人の友人がRNNの代替品を開発しており、その結果がトランスフォーマーです[8] 。
RNNと比較すると、トランスフォーマーの変換には2つのポイントがあります。
まず、RNNのループ設計が位置コーディングに置き換えられ、それによって並列コンピューティングが実現します-この変更により、Transformerのトレーニング効率が大幅に向上し、ビッグデータを処理できるようになり、AIを大規模モデルの時代に押し上げます。 第二に、文脈をさらに強化する能力がさらに強化されました。
トランスフォーマーは多くの欠陥を一気に解決したため、「トランスフォーマーは自然に生まれていない、NLPは長い夜のようなもの」という感覚を持つNLP(自然言語処理)の唯一のソリューションに徐々に発展しました。 イリヤでさえ、自分の手で祭壇を持っていたRNNを放棄し、トランスフォーマーに切り替えました。
言い換えれば、トランスフォーマーは、ビッグモデルを理論的な研究問題から純粋に工学的な問題に変えたため、今日のすべてのビッグモデルの祖父です。 **
2019年、OpenAIはトランスフォーマーをベースにしたGPT-2を開発し、かつては学界を驚かせました。 それに応じて、GoogleはすぐにMeenaと呼ばれるより強力なAIを展開しました。
GPT-2と比較して、Meenaには基盤となるアルゴリズムの革新はありませんが、GPT-2の8.5倍のトレーニングパラメーターと14倍の計算能力があります。 トランスフォーマーの論文の著者であるシャゼルは、「暴力的な山」に非常にショックを受けたため、その場で「ミーナは世界をむさぼり食う」というメモを書きました。
トランスフォーマーの出現は、学界における基盤となるアルゴリズムの革新を大幅に遅らせました。 データエンジニアリング、コンピューティングパワースケール、モデルアーキテクチャなどのエンジニアリング要素は、AI競争においてますます重要な勝者と敗者になり、ある程度の技術的能力を持つテクノロジー企業が大規模なモデルを手作業でこすり落とすことができる限り。
したがって、コンピューター科学者のAndrew Ngがスタンフォード大学で講演したとき、彼は「AIは教師あり学習、教師なし学習、強化学習、そして今では生成的人工知能を含むツールのコレクションです」という点に言及しました。 これらはすべて汎用技術であり、電気やインターネットなどの他の汎用技術に似ています。[10] "
OpenAIは依然としてLLMの先駆者ですが、半導体アナリスト会社のSemi Analysisは、GPT-4の競争力はエンジニアリングソリューションから来ていると考えています。
アナリストは、他の大手テクノロジー企業がGPT-4と同じパフォーマンスの大型モデルを作成できるようになるまで、そう長くはかからないかもしれないと予測しています[11] 。
ガラスの上に建てられた堀
現在、「百モデル戦争」はもはや修辞的な装置ではなく、客観的な現実です。
関連するレポートによると、今年7月の時点で、国内の大型モデルの数は米国の114を上回って130に達し、コーナーオーバーテイクに成功しており、さまざまな神話や伝説は国内のテクノロジー企業が名前を付けるのに十分ではありません[12] 。
中国やアメリカ以外にも、多くの富裕国も当初は「一国一モデル」を実現している:* ※日本やアラブ首長国連邦のほか、インド政府主導の大型モデルバシニ、韓国のインターネット企業ネイバーのハイパークローバXなども存在する。 **
目の前の戦いは、バブルと「紙幣機能」が襲われたインターネットの先駆的な時代に戻ったようです。
前述のように、Transformerは、誰かがお金とグラフィックカードを持っている限り、大きなモデルを純粋にエンジニアリングの問題に変え、残りはパラメータに失われます。 ただし、入場券の入手は難しくありませんが、AI時代に誰もがBATになる機会があるわけではありません。
冒頭で触れた「動物戦争」は典型的なケースで、ファルコンはランキングでラマを破ったものの、メタにどれほどの影響を与えたかを言うのは難しい。 **
ご存知のように、企業は独自の科学研究結果をオープンソース化し、科学技術の幸福を一般の人々と共有するだけでなく、人々の知恵を動員しています。 大学教授、研究機関、中小企業がLlamaの使用と改善を続けるにつれて、Metaはこれらの結果を自社製品に適用できます。
**オープンソースモデルの場合、アクティブな開発者コミュニティがそのコアコンピテンシーです。 **
早くも2015年にAIラボが設立されたとき、Metaはオープンソースのメイントーンを設定していました。 ザッカーバーグはソーシャルメディアビジネスでも財産を築き、「広報で良い仕事をする」という問題に精通しています。
例えば、Metaは10月に「AIクリエイターインセンティブ」キャンペーンを開始し、Llama 2を使用して教育や環境などの社会問題を解決する開発者は、50万ドルの資金を受け取る機会を得ます。
今日、MetaのLlamaシリーズはオープンソースLLMの羽根です。
10月初旬の時点で、Hugging faceのオープンソースLLMリストのトップ8のうち合計10はLlama 2に基づいており、オープンソースライセンスを使用しています。 ハグフェイスだけでも、Llama 1,500オープンソースプロトコルを使用している2以上のLLMがあります[13] 。
もちろん、Falconのようにパフォーマンスを向上させることは問題ありませんが、今日まで、市場に出回っているほとんどのLLMには、GPT-4との目に見えるパフォーマンスギャップがあります。
たとえば、先日、GPT-4は4.41のスコアでエージェントベンチテストを上回りました。 AgentBench標準は、清華大学、オハイオ州立大学、カリフォルニア大学バークレー校が共同で立ち上げ、オペレーティングシステム、データベース、ナレッジグラフ、カードバトルなどの8つの異なる環境でのタスクを含む、多次元オープンジェネレーション環境におけるLLMの推論能力と意思決定能力を評価します。
テスト結果は、2位でフィニッシュしたクロードが2.77ポイントしか持っていないことを示し、ギャップはまだ明らかでした。 これらの巨大なオープンソースLLMに関しては、テストスコアはGPT-4の1/4未満で、約1ポイントで推移しています[14] 。
ご存知のように、GPT-4は今年3月にリリースされましたが、これは世界の同業他社が半年以上追いついた後も結果です。 このギャップの原因は、OpenAIの高い「IQ密度」と長期的な研究LLMを持つ科学者チームによって蓄積された経験であるため、常にはるかに先を行くことができます。
言い換えれば、ビッグモデルのコア能力はパラメータではなく、生態学(オープンソース)または純粋な推論能力(クローズドソース)の構築です。 **
オープンソースコミュニティがより活発になるにつれて、LLMはすべて同様のモデルアーキテクチャと同様のデータセットを使用しているため、LLMのパフォーマンスが収束する可能性があります。
もう一つのより直感的な難問:ミッドジャーニーを除いて、大きなモデルはお金を稼いでいないようです。
価値のアンカー
今年の8月、「OpenAIは2024年末までに倒産するかもしれない」というタイトルの興味深い記事が大きな注目を集めました[16] 。 この記事の主な目的は、OpenAIの燃えるお金が速すぎるという一文にほぼ一文で要約できます。 **
この記事は、ChatGPTの開発以来、OpenAIの損失は急速に拡大しており、2022年だけで約5億4000万ドルを失い、マイクロソフトの投資家が支払うのを待つことしかできないと述べました。
記事のタイトルはセンセーショナルですが、多くの大規模なモデルプロバイダーの現在の状況も伝えています。 **コストと収益の間には深刻な不均衡があります。 **
コストが高すぎるため、現在の人工知能への依存度はNVIDIAだけで大金を稼ぎ、せいぜいBroadcomが追加されています。
コンサルティング会社のOmdiaによると、Nvidiaは今年の第2四半期に30万台以上のH100ユニットを販売しました。 これはAIチップであり、AIのトレーニング効率は非常に高く、世界中のテクノロジー企業や科学研究機関が急上昇しています。 販売された300,000機のH100を積み重ねると、ボーイング747航空機4.5機に相当する重量になります[18] 。
Nvidiaの業績も急上昇し、前年比で854%の収益を急上昇させ、かつてウォール街の顎に衝撃を与えました。 ちなみに、中古市場でのH100の現在の価格は40,000〜50,000ドルと推測されていますが、その材料費は約3,000ドルにすぎません。
計算能力の高コストは、ある程度業界の発展に対する抵抗となっています。 Sequoia Capitalは計算を行いました:グローバルテクノロジー企業は、大規模モデルのインフラストラクチャ建設に年間2,000億ドルを費やすと予想されています。 対照的に、大規模なモデルは年間最大750億ドルしか生み出すことができず、少なくとも1,250億ドルのギャップがあります[17] 。
さらに、Midjourneyなどのいくつかの例外を除いて、ほとんどのソフトウェア会社は、莫大な費用を支払った後にお金を稼ぐ方法をまだ理解していません。 特に、業界をリードする2つの兄貴分であるマイクロソフトとアドビは、少しつまずきました。
MicrosoftとOpenAIは、月額10ドルを請求するAIコード生成ツールGitHub Copilotを開発するために協力しましたが、設備のコストのために、Microsoftは20ドルを失い、ヘビーユーザーはMicrosoftに月額80ドルを支払うことさえできます。 この推測に基づくと、30ドルのMicrosoft 365コパイロットは損失ではありません。
偶然にも、Firefly AIツールをリリースしたばかりのAdobeも、ユーザーが頻繁に使用して会社に損失を被るのを防ぐためのサポートポイントシステムもすぐに立ち上げました。 ユーザーが毎月割り当てられたクレジットを超えて使用すると、アドビはサービスの速度を低下させます。
MicrosoftとAdobeはすでに明確なビジネスシナリオと多数の既製の有料ユーザーを持つソフトウェアの巨人であることを知っておく必要があります。 ほとんどのパラメータは空に積み重ねられており、最大のアプリケーションシナリオはチャットです。
OpenAIとChatGPTの出現がなければ、このAI革命はまったく起こらなかったかもしれないことは否定できません。 しかし、現時点では、大規模なモデルをトレーニングすることの価値は疑問符になる可能性があります。
さらに、均質化競争が激化し、市場に出回るオープンソースモデルが増えるにつれて、単純な大規模モデルベンダーの余地が少なくなる可能性があります。
iPhone 4の人気は、45nm A4プロセッサのためではなく、プラント対ゾンビとアングリーバードを再生できるためです。