JetBrains 这波开源很实在,12B 模型只激活 2.5B,成本控得死死的,MTP 草稿加速也有点意思

币 界 网
JetBrains开源Mellum-2代码模型:内置MTP头支持投机解码加速
JetBrains 开源 Mellum-2,12B 参数的代码混合专家模型。为控推理成本,每 token 仅激活约25亿参数,权重已在 Hugging Face 发布,Apache 2.0。新增多 token 预测(MTP)模块,推理时 MTP 头作为草稿模型加速采样。提供基础、对话、思考三版,思考版可在输出前展示显式思维链。基准:Humaneval 41.46%,MMLU 70.87%。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论