Вам слід спробувати запустити його за допомогою vllm. Це буде значно швидше. Ми рекомендуємо нашу обгортку, вона має швидкий завантажувач HF.

FAST-1.84%
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 7
  • Репост
  • Поділіться
Прокоментувати
0/400
Lionish_Lionvip
· 14год тому
СЛІДУЙТЕ ЗА МНОЮ, щоб уникнути поширених помилок у торгівлі. Дізнайтеся, що справді працює з мого досвіду. ⚠️➡️👍 Уникайте втрат та вчіться торгувати легко
Переглянути оригіналвідповісти на0
EthMaximalistvip
· 14год тому
vllm秒啊 Ця швидкість безсумнівно вражає
Переглянути оригіналвідповісти на0
MEVHunterNoLossvip
· 14год тому
vllm сильно побіг за ним
Переглянути оригіналвідповісти на0
ChainSpyvip
· 15год тому
Все ж таки давайте запустимо через mps.
Переглянути оригіналвідповісти на0
ReverseFOMOguyvip
· 15год тому
Дивитися на це набридло, ще й потрібно використовувати vllm
Переглянути оригіналвідповісти на0
LiquiditySurfervip
· 15год тому
vllm дійсно швидкий, дійсно смачний
Переглянути оригіналвідповісти на0
SatoshiHeirvip
· 15год тому
Знову намагаються привернути увагу? vllm лише поверхово, оптимізація полягає в управлінні пам'яттю.
Переглянути оригіналвідповісти на0
  • Закріпити