你應該嘗試使用 vllm 運行它。這會快得多。我們推薦我們的包裝器,它有一個快速的 HF 下載器。

FAST0.06%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 7
  • 轉發
  • 分享
留言
0/400
Lionish_Lionvip
· 15小時前
关注我以避免常见的交易错误。从我的经验中学习什么是真正有效的。⚠️➡️👍 避免损失并轻松学习交易
查看原文回復0
EthMaximalistvip
· 15小時前
vllm秒啊 这速度没得说
回復0
MEV猎手不亏本vip
· 15小時前
vllm 冲他狠狠地跑
回復0
链上资深小透明vip
· 15小時前
还是用mps跑吧
回復0
反向指标君vip
· 15小時前
看着就烦 还得用vllm
回復0
Liquidity_Surfervip
· 15小時前
vllm真快 确实香
回復0
Satoshi继承人vip
· 15小時前
蹭热点又来了?vllm只是浅尝辄止,优化本质在内存调度
回復0
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)