Сообщение с сайта Coinjie: команда Qwen выпустила открытый исходный код FlashQLA — высокопроизводительную библиотеку операторов для GDN (gated delta network, линейный слой внимания, используемый во всей серии Qwen3-next / 3.5 / 3.6). В реальных тестах на H200 скорость прямого прохода оказалась в 2-3 раза быстрее, чем у Fla Triton kernel, а скорость обратного прохода — в 2 раза быстрее. В сценарии TP8 максимальная скорость прямого прохода достигла 5,33 раза. Основная причина ускорения — использование экспоненциального затухания значения GDN для автоматического параллелизма контекста внутри карты (autocp), что позволяет пропускать шаги вычисления коррекционной матрицы, характерные для традиционных методов. Система автоматически определяет необходимость включения CP в зависимости от размера пакета, количества голов и длины последовательности, без необходимости ручной настройки.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить