你应该尝试使用 vllm 运行它。这会快得多。我们推荐我们的包装器,它有一个快速的 HF 下载器。

FAST-1.84%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 7
  • 转发
  • 分享
评论
0/400
Lionish_Lionvip
· 14小时前
关注我以避免常见的交易错误。从我的经验中学习什么是真正有效的。⚠️➡️👍 避免损失并轻松学习交易
查看原文回复0
EthMaximalistvip
· 14小时前
vllm秒啊 这速度没得说
回复0
MEV猎手不亏本vip
· 14小时前
vllm 冲他狠狠地跑
回复0
链上资深小透明vip
· 15小时前
还是用mps跑吧
回复0
反向指标君vip
· 15小时前
看着就烦 还得用vllm
回复0
Liquidity_Surfervip
· 15小时前
vllm真快 确实香
回复0
Satoshi继承人vip
· 15小时前
蹭热点又来了?vllm只是浅尝辄止,优化本质在内存调度
回复0
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)