Penelitian: Skor uji serangan jaringan Kimi K3 sebesar 32,2%, tertinggal lebih dari 40 poin persentase dari model-model terdepan di AS

Kamis TechFlow, 24 Juli, Institute for AI Safety di Inggris dan American AI Standards and Innovation Center bersama-sama menilai bahwa Kimi K3 milik Moonshot AI dapat membantu pengembangan eksploitasi dan simulasi serangan siber tanpa adanya penghalang yang substansial, namun kemampuan keamanan sibernya secara keseluruhan masih jelas tertinggal dibanding model-model terdepan di AS.

Dalam benchmark eksploitasi ExploitBench, tingkat keberhasilan Kimi K3 adalah 32,2%, lebih tinggi dari GLM-5.2 asal Tiongkok, tetapi jauh lebih rendah dari model terdepan AS yang mencapai 76,2%, serta gagal mencapai tingkat serangan tertinggi “eksekusi kode arbitrer” pada uji apa pun. Pada uji simulasi serangan terhadap jaringan internal perusahaan, Kimi K3 rata-rata menyelesaikan 17 dari 32 langkah, dengan hanya 1 kali berhasil menyelesaikan seluruh alur dari 10 percobaan.

Laporan tersebut menilai bahwa model terbuka berbobot dari Tiongkok terus menunjukkan kemajuan dalam tugas keamanan siber, namun masih terdapat kesenjangan yang jelas dibanding sistem AS; sekaligus, hasil terkait juga sejalan dengan pandangan luar bahwa Kimi K3 mungkin bergantung pada pelatihan distilasi, yang menyebabkan kemampuan serangan tingkat lanjut yang kurang.