ChainCatcherによると、研究者のDwarkesh Patel氏とJerry Han氏は、2019年から2025年にかけて事前学習効率が向上した要因について、データとモデルの改善がそれぞれどの程度寄与したかを分析したリサーチを、2026年9月8日に発表した。1e19 FLOPsの計算予算では、データの改善によって計算効率が12.0倍に向上した一方、モデルの改善による向上は3.7倍にとどまり、データ改善の影響はモデル改善の約3.24倍に達した。このリサーチは、データ改善とモデル改善が大部分において独立しており、両者を組み合わせた効果によって、OLMESスコアの分散の88％を説明できることを示している。データは、2019年の約90億トークンから成るOpenWebTextから、2025年にはUltraFineWebのような、より大規模かつ精密にフィルタリングされたコーパスへと進化した。
免責事項：本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、
免責事項をご確認ください。
