Membuat Model AI Skala Besar Lebih Mudah Diakses oleh PCRumah

Selama lebih dari tiga bulan, saya diam-diam meneliti metode untuk mengurangi beban perangkat keras dan memori yang diperlukan untuk menjalankan model AI yang sangat besar—terutama model mixture-of-experts seperti GLM-5.2—di komputer rumah biasa.
Riset ini menjadi bagian dari program magister ilmu komputer saya, dan hasil awalnya menjanjikan.
Kini saya sudah memiliki prototipe yang berfungsi, dan saya berencana untuk segera membagikan lebih banyak tentangnya.
Tujuannya bukan sekadar membuat versi model yang lebih kecil atau mengklaim bahwa ratusan miliar parameter bisa “ajaib” muat di GPU konsumen.
Model lengkap tetap tersedia, tetapi sistem berupaya memuat, mempertahankan, dan memindahkan hanya komponen yang diperlukan untuk tahap inferensi saat ini.
Penelitian saya mencakup area seperti:
Residensi pakar yang dinamis
Prefetching pakar yang bersifat prediktif
Pemuatan hierarkis di seluruh VRAM, RAM sistem, dan penyimpanan NVMe
Routing yang sadar terhadap cache
Mengurangi pergerakan parameter yang tidak perlu
Menyesuaikan jalur eksekusi dengan perangkat keras yang tersedia
Saya baru-baru ini melihat proyek lain yang mengeksplorasi arah serupa, dan itu mendorong saya untuk mempublikasikan pekerjaan saya.
Namun, saya yakin beberapa pendekatan yang ada saat ini mungkin meremehkan beban inferensi yang sebenarnya.
Menghitung hanya parameter yang ditetapkan ke pakar aktif tidak mewakili biaya inferensi secara keseluruhan. Layer bersama, status perhatian, cache KV, keputusan routing, transisi pakar, bandwidth memori, page fault, serta sinkronisasi CPU-ke-GPU semuanya dapat menjadi hambatan utama.
Sebuah sistem bisa tampak efisien ketika diukur hanya berdasarkan parameter aktif, namun tetap berkinerja buruk saat inferensi end-to-end yang nyata karena berulang kali memindahkan data antara penyimpanan, RAM, dan VRAM.
Karena itu, pendekatan saya tidak hanya berfokus pada memilih lebih sedikit pakar.
Pendekatan ini juga mempertimbangkan di mana komponen model seharusnya berada, kapan komponen tersebut harus dipindahkan, apa yang sebaiknya tetap berada di cache, serta bagaimana kebutuhan mendatang dapat diprediksi tanpa memuat bagian-bagian yang tidak diperlukan dari model.
Riset ini masih berlangsung, dan masih banyak pengujian yang perlu diselesaikan. Namun, sejauh ini hasilnya menunjukkan kemungkinan adanya jalur praktis untuk menjalankan model yang jauh lebih besar di perangkat keras konsumen dengan tekanan memori puncak yang jauh lebih rendah.
Prototipe ini sudah beroperasi, meskipun masih eksperimental dan memerlukan optimasi, validasi, serta pengujian lanjutan di berbagai konfigurasi perangkat keras.
Saya berniat membagikan prototipe ini, atau demonstrasi publik awalnya, dalam waktu dekat.
Eksperimen menghasilkan hasil yang menjanjikan.
Dan saya yakin inferensi model skala besar di komputer rumah bisa menjadi jauh lebih efisien daripada saat ini.
Lebih banyak yang akan dibagikan segera. #AI