На этот раз в open-source модельном сообществе прям чувствуется вкус компьютерного рынка со сборочными ПК



Baseten не стал заново тренировать целую мультимодальную модель с нуля — вместо этого он взял визуальный энкодер MoonViT от Kimi K2.6 и подключил его к GLM-5.2, который изначально умел обрабатывать только текст. Основной корпус GLM на 744B не меняли, вся визуальная башня тоже была заморожена — реально обучали лишь PatchMerger, который составляет примерно 49,50 млн параметров в середине

В итоге на MMMU-Pro он показал около 55%; в официальных заявлениях говорится, что это близко к Claude 4.5 Haiku. Иными словами, чтобы в дальнейшем добавлять в открытые модели визуальные, голосовые или другие возможности, возможно, действительно не придётся каждый раз заново «сжигать» полные трензагрузочные бюджеты: достаточно подбирать готовые детали и просто соединять их

Но давайте не смотреть только на «49,50 млн параметров — это недорого». Эти веса — около 466GB; для полного контекста в 1 млн потребуется 8 карт B200, а чтобы прогнать 256K — тоже нужно 4 карты. Порог для разработки действительно снизился, но счёт за развёртывание совсем не выглядит дружелюбным

Поэтому я думаю, что для компаний-разработчиков это событие может быть не только хорошей новостью: возможности всё легче «собираются» из деталей, а вот реальный источник дальнейшей ренты, вероятно, останется прежним — $NVDA, платформы для инференса и провайдеры облачного хостинга. В будущем, возможно, придётся не только скачивать модели, но и сначала научиться собирать модели🤣

#Ourbit 不只 Crypto,全球熱門資產一站交易。
NVDA-1,58%
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено