2026-07-14 09:01:35
Optimasi vLLM milik Nvidia Mengungguli AMD pada Model MoE, Mencapai Lebih dari 12.000 Token per Detik
Menurut SemiAnalysis pada 13 Juli, Nvidia menunjukkan keunggulan performa yang jelas dalam optimasi inferensi vLLM atas AMD, dengan arsitektur GB200 NVL72 mencapai lebih dari 12.000 token per detik throughput pada model mixture-of-experts seperti Kimi K2.5. Analisis tersebut menyoroti bahwa kerangka inferensi terdistribusi Nvidia, Dynamo, yang terintegrasi secara mendalam dengan vLLM, memungkinkan paralelisme ahli yang efisien serta optimasi cache KV, sementara AMD MI355X saat ini bergantung pad