Дослідження показує, що вдосконалення даних забезпечило 12-кратне підвищення ефективності під час попереднього навчання у 2019–2025 роках, випередивши вдосконалення моделей.

За даними ChainCatcher, дослідники Dwarkesh Patel і Jerry Han опублікували дослідження 8 вересня 2026 року, у якому проаналізували внесок покращень даних і моделі в підвищення ефективності попереднього навчання в період із 2019 до 2025 року. За бюджету обчислень 1e19 FLOPs покращення даних забезпечили 12,0-кратне підвищення обчислювальної ефективності, тоді як покращення моделі — 3,7-кратне, тож покращення даних були приблизно у 3,24 раза впливовішими за покращення на боці моделі. Дослідження показує, що покращення даних і моделі значною мірою незалежні, а їхні сукупні адитивні ефекти пояснюють 88% дисперсії оцінок OLMES. Еволюція даних відбувалася від OpenWebText із приблизно 9 мільярдами токенів у 2019 році до більших і ретельніше відфільтрованих корпусів, як-от UltraFineWeb, у 2025 році.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів