Gensynテストネットが上线しました。AIのトレーニングをより効率的かつ分散化するにはどうすればよいでしょうか？

Question

! [Gensynテストネットがローンチ、AIトレーニングをより効率的かつ分散化するには? ](https://img.gateio.im/social/moments-e1323e3b2b8eaabee7d53e902d2a2d18)By 禅, PANewsAIは現在の暗号業界で最も注目されているセグメントの一つであり、その中でもa16zがリードし、総資金調達規模が5000万ドルに達する分散化AI計算ネットワークGensynは間違いなく競争力のあるプロジェクトです。最近、Gensynは正式にテストネットに上线し、当初の予定よりも1年以上遅れたものの、テストネットの上线により新しい段階に突入しました。機械学習のために特別に設計されたカスタマイズされたEthereum RollupであるGensynテストネットは、オフチェーン実行、検証、および通信フレームワークを統合し、分散化されたAIシステムに持続的なアイデンティティ、参加追跡、帰属維持、支払い、リモート実行調整、非信頼検証、トレーニングプロセスの記録、および大規模トレーニングタスクのクラウドファンディングなどの重要な機能を提供することを目的としています。テストネットの第1フェーズでは、RL Swarmへの参加状況の追跡に重点が置かれました。 RL Swarmは、トレーニング後の協調的な強化学習のためのアプリケーションであり、ノードをオンチェーンIDに結び付けて、各参加ノードの貢献が正確に記録されるようにすることができます。### RL Swarm：コア機能と協調トレーニングGensyn テストネットにおいて、コアアプリケーションである RL Swarm は、分散化ネットワークに基づいて構築されたモデル協調トレーニングシステムです。従来の単一モデルの独立トレーニングとは異なり、RL Swarm は複数のモデルがネットワーク内で相互にコミュニケーションを取り、批評し、改善することで、全体のパフォーマンスを向上させます。その核心理念は「群体智慧」であり、各ノードモデル間の協力とフィードバックを通じて、より効率的なトレーニング効果を実現します。簡単に言えば、DeepSeek-R1などのモデルが推論トレーニングを行う際に、自己批評を通じて推論パフォーマンスを反復的に向上させることができ、RL Swarmはこのメカニズムを複数のモデルの集団に拡張し、「みんなで集まれば火が高くなる」効果を実現しました。RL Swarmシステムに基づき、モデルは自身のフィードバックだけでなく、他のモデルのパフォーマンスを観察し評価することによって、自身の不足を認識し最適化を図ります。Swarmに参加する各モデルノードは、三段階のプロセスに参加しています。まず独立して問題を解決し、思考と解答を出力します。次に、他のノードの解答を確認しフィードバックを提供します。最後に、モデルが投票を行い最適解を選び、それに基づいて自身の出力を修正します。この協調メカニズムは、各モデルのパフォーマンスを向上させるだけでなく、全体の群体モデルの進化を促進します。Swarmに参加したモデルは、離れた後も改善されたローカルウェイトを保持し、実際の利益を得ることができます。! [Gensynテストネットがローンチ、AIトレーニングをより効率的かつ分散化するには? ](https://img.gateio.im/social/moments-65402c686682825bef76f2eba64060c3)さらに、GensynはRL Swarmのコードをオープンソース化し、誰でもノードを実行し、既存のSwarmを開始または参加することが許可なしにできます。Swarmの基盤となる通信はHivemindが提供するgossipプロトコルを使用しており、モデル間の分散化されたメッセージングと学習信号の共有をサポートしています。家庭用ノートパソコンでも、クラウドのGPU上でも、RL Swarmノードに参加することで協調訓練に参加できます。### インフラストラクチャ: 実行、通信、および検証現在RL Swarmはまだ実験的なデモに過ぎず、大規模でスケーラブルな機械学習方法を示しているだけで、最終的な製品形態ではありません。過去4年間、Gensynのコア作業は実際には基盤インフラの構築にあり、テストネットをリリースした後、v0.1段階に入り、実際に稼働できるようになりました。公式の紹介によると、Gensynの全体アーキテクチャは実行、通信、検証の3つの部分に分かれています。#### 実行: 一貫性と分散コンピューティング能力Gensynは、未来の機械学習が従来の単一モデルに限定されず、世界中のさまざまなデバイスに分散された断片化されたパラメータで構成されると考えています。この目標を達成するために、Gensynチームは、デバイス間の一貫性を確保できる基盤となる実行アーキテクチャを開発しました。その中の重要な技術には、以下が含まれます：* 分散化パラメータストレージとトレーニング：大規模モデルを複数のパラメータブロックに分割し、異なるデバイスに分散させることで、Gensynはモデルの断片化デプロイメントを実現し、単一ノードのメモリ要件を低減しました。* 強化学習後のトレーニング（RL Post-Training）：研究によると、モデルが集団で協力してトレーニングし、互いにコミュニケーションを取り、回答を批判し合うと、全体の学習効率が著しく向上することが示されています。GensynはRL Swarmを利用してこの概念を実演し、モデルが集団討論の中で迅速に進歩する様子を示し、分散化の有効性をさらに検証しました。* 再現可能な演算子（RepOps）：異なるハードウェア（Nvidia A100 と H100 など）が完全に一致した計算結果を得られるように、Gensyn は RepOps ライブラリを開発しました。固定小数点演算の実行順序を確保することで、プラットフォーム間でのビット単位の再現を実現しています。#### コミュニケーション:効率的な情報交換大規模な分散トレーニングシーンにおいて、各ノード間の効率的な通信は非常に重要です。従来のデータ並列手法は、一定程度まで通信コストを削減できますが、各ノードが完全なモデルを保存する必要があるため、その拡張性はメモリの制約を受けます。このため、Gensyn は全く新しいソリューションを提案しました：* SkipPipe – 動的ジャンプパイプライン並行：SkipPipe技術は、動的にマイクロバッチを通過する計算レイヤーを選択することによって、従来のパイプラインの一部のステージをスキップし、不必要な待機時間を削減します。革新的なスケジューリングアルゴリズムは、各パスの可用性をリアルタイムで評価でき、ノードのアイドル時間を減少させ、全体のトレーニング時間を大幅に短縮します。テストデータによると、分散化環境でSkipPipeはトレーニング時間を約55％削減でき、いくつかのノードが故障した場合でも、モデル性能はわずか7％程度低下します。* 通信標準とノード間協力 Gensynは、TCP/IPに似た通信プロトコルを構築し、世界中の参加者がどのようなデバイスを使用していても、効率的かつシームレスにデータ転送と情報交換を行えるようにしています。このオープンスタンダードは、分散化協調トレーニングに堅実なネットワーク基盤を提供します。#### 検証:信頼とセキュリティの確保トラストレス分散ネットワークでは、さまざまな参加者から提出された計算が真実で有効であることを確認することは困難です。 Gensynは、すべてのハッシュレートベンダーが低コストで高効率のメカニズムを通じて正しい結果を提供できるように、専用の検証プロトコルを導入しました。* Verde 検証プロトコル：Verde は現代の機械学習のために設計された初の検証システムです。その核心は軽量な議論解決メカニズムを利用し、トレーニングプロセスにおいてモデルと検証者の間に発生した相違を迅速に特定することにあります。従来のタスク全体を再実行する必要がある検証方法とは異なり、Verde は議論の操作のみを再計算することで、検証コストを大幅に削減します。* レフェリーデリゲーション（裁決式委任）：この方法を採用した場合、もしある供給者の出力に問題があった場合、検証者は効率的な紛争解決ゲームを通じて中立的な仲裁者を説得し、少なくとも一つの誠実なノードが存在する場合に、全体の計算結果の正確性が保証される。* ストレージとハッシュの中間状態：上記の検証プロセスをサポートするために、参加者は全データではなく部分的な中間トレーニングチェックポイントを保存しハッシュ化する必要があり、これによりリソースの占有が減少し、システムの拡張性とリアルタイム性が向上します。