S0 Tuning

Ide inti utama: Tidak mengubah bobot model, hanya menyesuaikan satu matriks status awal, dapat secara signifikan meningkatkan kemampuan coding model.
Pada Qwen3.5-4B, hanya dengan 48 sampel pelatihan HumanEval (bukan 48K, melainkan 48), S0 tuning meningkatkan pass@1 sebesar 23,6 poin persentase.
Dibandingkan dengan LoRA, S0 lebih tinggi sebesar 10,8 poin persentase. p-value<0.001, secara statistik signifikan.
Pada FalconH1-7B, S0 mencapai 71,8%.
Ini berarti setelah penyesuaian, kecepatan model tidak berubah, ukurannya tidak berubah, hanya "posisi awal" yang lebih baik.
Bagi orang yang melakukan deployment model lokal, ini membuka sebuah pintu: mengambil model umum, menyesuaikannya dengan puluhan sampel bidang menjadi model khusus, tanpa mengorbankan performa apapun.
Makalah ini di arxiv: 2604.01168. Mereka yang melakukan adaptasi model sebaiknya membacanya.