Gate News сообщает, 12 марта NVIDIA выпустила открытый исходный код крупной языковой модели Nemotron 3 Super, разработанной для сценариев многопрограммных агентов. Общий объем параметров модели составляет 120 миллиардов, она использует гибридную архитектуру Mamba-Transformer MoE, при выводе каждый токен активирует всего 12 миллиардов параметров. Основная технология «潜在 MoE» (Latent MoE) позволяет после сжатия векторных представлений токенов в низкоранговое скрытое пространство маршрутизировать их к экспертным сетям, что обеспечивает одновременную активацию 4 экспертов при стоимости вычислений одного эксперта, а пропускная способность при выводе увеличилась до 5 раз по сравнению с предыдущим поколением Nemotron Super. Модель изначально поддерживает окно контекста в 1 миллион токенов, что подходит для автономных агентов, требующих длительного сохранения состояния рабочего процесса. В бенчмарке PinchBench, оценивающем нагрузку на интеллектуальных агентов, Nemotron 3 Super набрала 85,6%, что является высшим результатом среди аналогичных открытых моделей. NVIDIA одновременно открыла обучающий датасет объемом свыше 10 триллионов токенов, 15 сред для обучения с подкреплением и схем оценки, лицензированные по NVIDIA Nemotron Open Model License. Модель уже доступна на платформах Hugging Face, build.nvidia.com, Perplexity, OpenRouter и поддерживается для развертывания через облачные сервисы Google Cloud, Oracle, AWS Bedrock, Azure. Компании Perplexity, CodeRabbit, Cadence, Dassault Systèmes, Siemens и другие уже начали использовать её.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

комментарий

0/400

Нет комментариев