出典: ザ・ペーパー張静記者不完全な統計によると、現在、中国では 10 億パラメータを超える規模の大規模モデルが 79 個リリースされており、主に北京と広東省、そのうち北京の大型モデル 38 台、広東省の大型モデル 20 台。中国の大型モデルのうち、半数以上の大型モデルがオープンソース化されており、大学・科学研究機関がオープンソースの主力となっている。・北京、江蘇、広東、上海などは比較的大規模模型の人材が多い地域であり、大規模模型の研究開発に重要な知的支援を提供している。しかし、人材の総量は依然として不足しており、大規模モデルは敷居が高く、質の高いAI人材が求められるため、各地で大規模モデルの人材が不足しているのが現状です。 *画像の出典: Unbounded AI ツールによって生成*中国には 10 億を超えるパラメータを持つ 79 の大規模モデルがあり、主に北京と広東省に集中しています。5月28日、2023年中関村フォーラムの並行フォーラムの一つである人工知能大型モデル開発フォーラムで、中国科学技術情報院の趙志雲所長は「中国人工知能大型モデルマップに関する研究報告」を発表した。現在、中国のパラメータは10億を超える規模で、主に北京と広東省で79の大規模モデルがリリースされており、そのうち北京では38の大規模モデル、広東では20の大規模モデルが含まれています。中国の大型モデルのうち、半数以上の大型モデルがオープンソース化されており、大学・科学研究機関がオープンソースの主力となっている。2017 年に Google がリリースした Transformer ネットワーク構造は、大規模モデル開発のソース テクノロジであり、それ以来、大規模モデル テクノロジは、自然言語理解、コンピュータ ビジョン、インテリジェント音声において象徴的な技術的ブレークスルーを達成し、汎化能力などの側面で成果を上げてきました。飛躍的な発展。 ChatGPT は、大規模な言語モデルの爆発的な出現をさらに刺激し、一般ビジョンやマルチモダリティなどのより大規模なモデルの開発への投資に多くの研究開発チームを惹きつけました。 Zhao Zhiyun氏は、わずか5年あまりで大規模モデル技術が巨大な技術グループを形成し、さまざまなパラメータスケール、さまざまな技術アーキテクチャ、さまざまなモード、さまざまなシナリオをカバーする大規模モデルファミリーを導き出したと述べた。世界的な大規模モデルの開発動向から判断すると、米国の Google や OpenAI などの組織が引き続き大規模モデル技術の最前線をリードしており、欧州、ロシア、イスラエルなどでも研究開発チームが増加しています。大型モデルの研究開発にも投資しています。世界各国で発売された大型モデルの分布を見ると、中国と米国が大きくリードし、世界全体の8割以上を占めており、米国は常に世界のトップに位置している。大規模モデルの数、同時増加傾向。中国における大型モデルの開発動向について、趙志雲氏は、不完全な統計によると、これまでに中国ではパラメータ10億以上の規模を持つ79の大型モデルがリリースされ、14の省・地域が研究開発を行っていると述べた。北京と広東省を中心に大型モデルが設置されており、北京では大型モデルが 38 台、広東省では大型モデルが 20 台となっている。モデル領域の分布に関しては、自然言語処理が依然として大規模モデルの研究開発で最も活発に焦点を当てている領域であり、次にマルチモーダル領域が続きますが、コンピュータビジョンやインテリジェント音声の分野では大規模モデルの数はまだ少ないです。研究開発主体の分布という点では、大学、科学研究機関、企業などのさまざまなイノベーション主体が大型モデルの研究開発に参加しており、学界と産業界の共同研究開発は依然として不十分である。 「今年に入ってから大型モデルの開発が急速に進んでいるが、協力が縮小する傾向も見られており、今後は注意が必要だ」。同時に、計算能力とモデルの一致度は高く、公共の計算能力は急速に発展しています。北京、広東、浙江、上海などは大型モデルの数が最も多く、この4か所は過去3年間で人工知能サーバーの購入額が最も多かった地域でもある。地方自治体はまた、公共のコンピューティング能力を提供したり、大規模モデルの研究開発のためのより多くのコンピューティング能力のサポートを提供したりすることで、人工知能のコンピューティング能力に対する急速に増大する需要を補っています。才能も人工知能の重要な柱です。北京、江蘇、広東、上海などは大規模モデルの人材が比較的多い地域であり、大規模モデルの研究開発に重要な知的サポートを提供している。しかし、人材の総量は依然として不足しており、大規模モデルは敷居が高く、質の高いAI人材が求められるため、各地で大規模モデルの人材が不足しているのが現状です。「大規模なモデル論文の発表を通じて、中国の大規模モデルの学術的影響力が徐々に形成されつつあることがわかります。地域的影響力の観点から見ると、論文数では北京、広東省、上海が国内で最も多いです」 「Zhao Zhiyun 氏は、清華大学、Ali、Baidu が共同開発した CogView モデル論文が最も多くの引用数を誇ると述べました。しかし、海外を代表する大型模型の学術的影響力と比べると、まだ大きな差があります。オープンソースのイノベーションエコロジーの観点から見ると、中国の大規模モデルの半分以上がオープンソース化されており、北京、広東省、上海はオープンソースの数と影響力の点で国内トップ3に入っている。オープンソースの主力は大学/科学研究機関であり、「清華大学のChatGLM-6B、復旦大学のMOSS、百度のWenxinシリーズの大規模モデルがオープンソースに最も大きな影響を与えている」とZhao Zhiyun氏は述べた。中国の大規模モデルの産業応用は 2 つの経路に沿って発展しています. 1 つは、汎用大規模モデルの応用分野の継続的な拡大です. 大規模モデルは、業界を超えた汎用人工知能の構築に向けて急速に発展しています機能プラットフォームとそのアプリケーション業界は、オフィス、生活、エンターテイメントから医療、産業、教育への浸透を加速しています。 2つ目は、垂直分野における専門的な大規模モデルの継続的な深化であり、生物医学やリモートセンシング気象などの垂直分野の専門的な大規模モデル群が、その分野での深い利点を最大限に発揮し、高品質の専門的モデルを提供します。特定のビジネス シナリオ向けのソリューション。リソースと研究開発力の全体的な計画を強化し、大型モデルの秩序ある開発を促進することを主張します。大型モデルの開発が不足していることを考慮して、Zhao Zhiyun 氏は 4 つの提案と展望を示しました。1つは、大型モデルの秩序ある開発を促進するために、リソースと研究開発力の全体的な計画を強化することです。インテリジェントコンピューティングセンター、スーパーコンピューティングセンター、クラウドコンピューティングセンターなどのコンピューティングリソースの全体的な計画を強化することにより、パブリックデータ共有カタログと共有ルールを策定し、データの分類と分類の秩序ある公開を促進します。2 つ目は、基礎研究と技術革新を加速し、学術とオープンソースの影響力を高めることです。大規模模型技術はまだ開発の初期段階にあり、基礎理論と技術革新の大きな可能性を秘めています。蒸留や定量化などの小型化技術を通じてモデルは「スリム化」され、大型モデルの小型化とグリーン開発に対する技術サポートを提供します。産学研究連携をさらに強化し、大型モデルのオープンソース化を推進することで、大型モデルの技術進歩も加速する。3つ目は、大型モデル開発における現場の主導的な役割を強化し、大型モデルのベンチマークプロジェクトを創設することです。業界固有のトレーニングデータセットに基づいて、金融、医療、電力分野のプロフェッショナルな大規模モデルを構築し、特定のビジネスシナリオで高品質なアプリケーションのブレークスルーを実現するとともに、大規模モデルの反復アップグレードを逆に促進することも期待しています。アプリケーションシナリオとアプリケーションデータを通じてテクノロジーを活用します。4つ目は、国際協力を強化し、グローバルな人工知能ガバナンスに積極的に参加することです。責任ある態度で大規模モデルのガバナンスを共同で推進し、人工知能のガバナンス原則と倫理規範が大規模モデルのチェーン全体にさらに根付くことを期待します。同時に、コンセンサスの増加に基づいて、人工知能のガバナンスに関する世界的な協力を強化します。
10億以上のパラメータを持つ79の大規模モデルが中国でリリースされ、北京と広東に集中
出典: ザ・ペーパー
張静記者
不完全な統計によると、現在、中国では 10 億パラメータを超える規模の大規模モデルが 79 個リリースされており、主に北京と広東省、そのうち北京の大型モデル 38 台、広東省の大型モデル 20 台。中国の大型モデルのうち、半数以上の大型モデルがオープンソース化されており、大学・科学研究機関がオープンソースの主力となっている。
・北京、江蘇、広東、上海などは比較的大規模模型の人材が多い地域であり、大規模模型の研究開発に重要な知的支援を提供している。しかし、人材の総量は依然として不足しており、大規模モデルは敷居が高く、質の高いAI人材が求められるため、各地で大規模モデルの人材が不足しているのが現状です。
中国には 10 億を超えるパラメータを持つ 79 の大規模モデルがあり、主に北京と広東省に集中しています。
5月28日、2023年中関村フォーラムの並行フォーラムの一つである人工知能大型モデル開発フォーラムで、中国科学技術情報院の趙志雲所長は「中国人工知能大型モデルマップに関する研究報告」を発表した。現在、中国のパラメータは10億を超える規模で、主に北京と広東省で79の大規模モデルがリリースされており、そのうち北京では38の大規模モデル、広東では20の大規模モデルが含まれています。中国の大型モデルのうち、半数以上の大型モデルがオープンソース化されており、大学・科学研究機関がオープンソースの主力となっている。
2017 年に Google がリリースした Transformer ネットワーク構造は、大規模モデル開発のソース テクノロジであり、それ以来、大規模モデル テクノロジは、自然言語理解、コンピュータ ビジョン、インテリジェント音声において象徴的な技術的ブレークスルーを達成し、汎化能力などの側面で成果を上げてきました。飛躍的な発展。 ChatGPT は、大規模な言語モデルの爆発的な出現をさらに刺激し、一般ビジョンやマルチモダリティなどのより大規模なモデルの開発への投資に多くの研究開発チームを惹きつけました。 Zhao Zhiyun氏は、わずか5年あまりで大規模モデル技術が巨大な技術グループを形成し、さまざまなパラメータスケール、さまざまな技術アーキテクチャ、さまざまなモード、さまざまなシナリオをカバーする大規模モデルファミリーを導き出したと述べた。
世界的な大規模モデルの開発動向から判断すると、米国の Google や OpenAI などの組織が引き続き大規模モデル技術の最前線をリードしており、欧州、ロシア、イスラエルなどでも研究開発チームが増加しています。大型モデルの研究開発にも投資しています。世界各国で発売された大型モデルの分布を見ると、中国と米国が大きくリードし、世界全体の8割以上を占めており、米国は常に世界のトップに位置している。大規模モデルの数、同時増加傾向。
中国における大型モデルの開発動向について、趙志雲氏は、不完全な統計によると、これまでに中国ではパラメータ10億以上の規模を持つ79の大型モデルがリリースされ、14の省・地域が研究開発を行っていると述べた。北京と広東省を中心に大型モデルが設置されており、北京では大型モデルが 38 台、広東省では大型モデルが 20 台となっている。モデル領域の分布に関しては、自然言語処理が依然として大規模モデルの研究開発で最も活発に焦点を当てている領域であり、次にマルチモーダル領域が続きますが、コンピュータビジョンやインテリジェント音声の分野では大規模モデルの数はまだ少ないです。研究開発主体の分布という点では、大学、科学研究機関、企業などのさまざまなイノベーション主体が大型モデルの研究開発に参加しており、学界と産業界の共同研究開発は依然として不十分である。 「今年に入ってから大型モデルの開発が急速に進んでいるが、協力が縮小する傾向も見られており、今後は注意が必要だ」。
同時に、計算能力とモデルの一致度は高く、公共の計算能力は急速に発展しています。北京、広東、浙江、上海などは大型モデルの数が最も多く、この4か所は過去3年間で人工知能サーバーの購入額が最も多かった地域でもある。地方自治体はまた、公共のコンピューティング能力を提供したり、大規模モデルの研究開発のためのより多くのコンピューティング能力のサポートを提供したりすることで、人工知能のコンピューティング能力に対する急速に増大する需要を補っています。
才能も人工知能の重要な柱です。北京、江蘇、広東、上海などは大規模モデルの人材が比較的多い地域であり、大規模モデルの研究開発に重要な知的サポートを提供している。しかし、人材の総量は依然として不足しており、大規模モデルは敷居が高く、質の高いAI人材が求められるため、各地で大規模モデルの人材が不足しているのが現状です。
「大規模なモデル論文の発表を通じて、中国の大規模モデルの学術的影響力が徐々に形成されつつあることがわかります。地域的影響力の観点から見ると、論文数では北京、広東省、上海が国内で最も多いです」 「Zhao Zhiyun 氏は、清華大学、Ali、Baidu が共同開発した CogView モデル論文が最も多くの引用数を誇ると述べました。しかし、海外を代表する大型模型の学術的影響力と比べると、まだ大きな差があります。
オープンソースのイノベーションエコロジーの観点から見ると、中国の大規模モデルの半分以上がオープンソース化されており、北京、広東省、上海はオープンソースの数と影響力の点で国内トップ3に入っている。オープンソースの主力は大学/科学研究機関であり、「清華大学のChatGLM-6B、復旦大学のMOSS、百度のWenxinシリーズの大規模モデルがオープンソースに最も大きな影響を与えている」とZhao Zhiyun氏は述べた。
中国の大規模モデルの産業応用は 2 つの経路に沿って発展しています. 1 つは、汎用大規模モデルの応用分野の継続的な拡大です. 大規模モデルは、業界を超えた汎用人工知能の構築に向けて急速に発展しています機能プラットフォームとそのアプリケーション業界は、オフィス、生活、エンターテイメントから医療、産業、教育への浸透を加速しています。 2つ目は、垂直分野における専門的な大規模モデルの継続的な深化であり、生物医学やリモートセンシング気象などの垂直分野の専門的な大規模モデル群が、その分野での深い利点を最大限に発揮し、高品質の専門的モデルを提供します。特定のビジネス シナリオ向けのソリューション。
リソースと研究開発力の全体的な計画を強化し、大型モデルの秩序ある開発を促進することを主張します。
大型モデルの開発が不足していることを考慮して、Zhao Zhiyun 氏は 4 つの提案と展望を示しました。
1つは、大型モデルの秩序ある開発を促進するために、リソースと研究開発力の全体的な計画を強化することです。インテリジェントコンピューティングセンター、スーパーコンピューティングセンター、クラウドコンピューティングセンターなどのコンピューティングリソースの全体的な計画を強化することにより、パブリックデータ共有カタログと共有ルールを策定し、データの分類と分類の秩序ある公開を促進します。
2 つ目は、基礎研究と技術革新を加速し、学術とオープンソースの影響力を高めることです。大規模模型技術はまだ開発の初期段階にあり、基礎理論と技術革新の大きな可能性を秘めています。蒸留や定量化などの小型化技術を通じてモデルは「スリム化」され、大型モデルの小型化とグリーン開発に対する技術サポートを提供します。産学研究連携をさらに強化し、大型モデルのオープンソース化を推進することで、大型モデルの技術進歩も加速する。
3つ目は、大型モデル開発における現場の主導的な役割を強化し、大型モデルのベンチマークプロジェクトを創設することです。業界固有のトレーニングデータセットに基づいて、金融、医療、電力分野のプロフェッショナルな大規模モデルを構築し、特定のビジネスシナリオで高品質なアプリケーションのブレークスルーを実現するとともに、大規模モデルの反復アップグレードを逆に促進することも期待しています。アプリケーションシナリオとアプリケーションデータを通じてテクノロジーを活用します。
4つ目は、国際協力を強化し、グローバルな人工知能ガバナンスに積極的に参加することです。責任ある態度で大規模モデルのガバナンスを共同で推進し、人工知能のガバナンス原則と倫理規範が大規模モデルのチェーン全体にさらに根付くことを期待します。同時に、コンセンサスの増加に基づいて、人工知能のガバナンスに関する世界的な協力を強化します。