楽天がRakuten AI 3.0モデルをリリース、設定ファイルは下層アーキテクチャがDeepSeek V3であることを示す

Gate Newsの報道によると、3月17日、楽天グループは「日本最大の高性能AIモデル」としてRakuten AI 3.0を発表し、Apache 2.0ライセンスの下で無料オープンソース化しました。このモデルはMoE(混合専門家)アーキテクチャを採用し、総パラメータは671B、推論時に活性化されるパラメータは37B、コンテキストウィンドウは128Kで、日本語に最適化されています。複数の日本語ベンチマークテストでGPT-4oを上回っています。

このモデルは、日本経済産業省と新エネルギー産業技術総合開発機構(NEDO)が共同推進するGENIACプロジェクトの成果であり、日本政府から一部のトレーニング計算資源の支援を受けています。楽天は発表の中で、「オープンソースコミュニティの最良の成果を十分に活用した」と述べ、具体的なモデル名には言及していません。

コミュニティはHuggingFaceに公開されたモデルファイルを確認し、config.jsonに「model_type: deepseek_v3」および「architectures: DeepseekV3ForCausalLM」と明記されていることから、総パラメータ671B、活性化37B、コンテキスト128KはDeepSeek V3と完全に一致しており、このモデルはDeepSeek V3を基に日本語データで微調整されたものであることが示されています。

免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし