Belakangan ini saya membaca beberapa pandangan menarik tentang mengapa sebagian besar organisasi pada dasarnya berjalan buta dengan sistem AI mereka. Masalah inti? Kita menerapkan alat yang secara fundamental tidak bisa kita kendalikan atau perbaiki saat mereka mengalami kerusakan.

Neel Somani, yang telah melakukan penelitian serius di bidang ilmu komputer yang mencakup privasi dan AI, menyampaikan poin yang memotong kebisingan seputar risiko AI. Semua orang membicarakan skenario Skynet, kan? Hal apokaliptik. Tapi itu sebenarnya bukan masalah utama yang dihadapi kebanyakan perusahaan. Mimpi buruk operasional yang sebenarnya lebih sederhana dan lebih berantakan: Anda menjalankan sistem yang tidak bisa Anda debug, tidak bisa Anda modifikasi dengan percaya diri, dan pasti tidak bisa Anda verifikasi.

Pikirkan bagaimana AI sebenarnya bekerja di sebagian besar perusahaan saat ini. Sebuah model menandai sebuah transaksi sebagai penipuan. Ia merekomendasikan seseorang untuk dipekerjakan. Ia menyesuaikan harga secara dinamis. Kemudian ia memberi penjelasan setelahnya. Kedengarannya masuk akal. Tapi inilah masalahnya - penjelasan itu direkayasa secara terbalik agar terdengar meyakinkan. Itu tidak selalu mencerminkan bagaimana sistem sebenarnya sampai pada keputusan tersebut. Ubah satu variabel input dan seluruh alasan tersebut runtuh. Narasi tidak cocok dengan mekanismenya.

Kesenjangan itu menciptakan dua risiko operasional serius. Pertama, kegagalan tersembunyi. Ketika logika internal tidak transparan, masalah dapat berantai dengan cara yang tidak bisa dideteksi melalui pengujian sebelumnya. Perbaikan untuk satu masalah diam-diam merusak sesuatu yang lain, biasanya di bawah kondisi tertentu yang tidak pernah Anda antisipasi. Kedua, kerentanan intervensi. Bahkan saat Anda mengidentifikasi masalah, memperbaikinya menjadi berbahaya. Ubah satu komponen dan bagian lain dari sistem akan menyesuaikan diri dengan cara yang menciptakan mode kegagalan baru. Ini seperti bermain whack-a-mole dengan infrastruktur Anda sendiri.

Kerangka kerja Neel Somani di sini berpusat pada sesuatu yang dia sebut debuggability. Bukan interpretability - itu berbeda. Debuggability berarti tiga kemampuan spesifik: Bisakah Anda menentukan mekanisme mana yang menyebabkan kegagalan? Bisakah Anda memodifikasi mekanisme tersebut secara tepat tanpa menyebabkan kerusakan berantai? Bisakah Anda membuktikan bahwa perbaikan tersebut benar-benar berhasil?

Lokalisasi adalah tentang menentukan tidak hanya lapisan mana dari model yang menghasilkan output, tetapi juga apakah perilaku tersebut bisa terjadi tanpa mekanisme itu, atau apakah mekanisme tersebut bisa aktif tanpa menghasilkan perilaku tersebut. Intervensi berarti memodifikasi bagian yang bertanggung jawab dengan cara yang dapat diprediksi dan terarah, menghilangkan perilaku buruk dalam domain yang ditentukan tanpa merusak hal lain. Sertifikasi berarti membuat klaim yang lengkap dan dapat dibantah tentang perilaku model di domain terbatas - bukan jaminan probabilistik, tetapi klaim universal yang sebenarnya. Jika gagal dalam domain tersebut, maka sertifikasi Anda salah.

Bagi kepemimpinan, implikasinya cukup tegas. Manajemen risiko tradisional bergantung pada transparansi dan auditabilitas. Melacak keputusan kembali ke orang yang bertanggung jawab. Sistem AI kotak hitam? Seluruh kerangka kerja itu runtuh. Badan regulasi mulai menyadari hal ini. EU AI Act, standar NIST, semuanya mendorong ke arah explainability dan pengawasan. Tapi inilah masalahnya: Anda bisa lulus audit dan tetap kekurangan kapasitas teknis untuk memperbaiki sistem Anda saat mereka gagal di produksi.

Tontonan kepatuhan tidak sama dengan kemampuan operasional. Debuggability menggeser pertanyaan dari "Apakah kita terdokumentasi?" menjadi "Bisakah kita benar-benar memperbaikinya?" Ketika sistem AI berperilaku buruk, bisakah organisasi Anda mengidentifikasi akar penyebabnya, memodifikasi dengan percaya diri, dan memverifikasi bahwa modifikasi tersebut berhasil? Tanpa kemampuan tersebut, tata kelola hanyalah pemadam kebakaran reaktif. Anda mewajibkan tinjauan, memerlukan dokumentasi, memberlakukan pengawasan, tetapi semua itu tidak mencegah kegagalan mendasar.

Somani menarik paralel yang menarik dengan perangkat lunak yang kritis terhadap keselamatan. Anda tidak bisa membuktikan bahwa browser web tidak akan pernah crash. Tapi Anda bisa membuktikan bahwa rutinitas tertentu aman dari segi memori, sandboxing mencegah eksploitasi tertentu, invariants penting tetap bertahan setelah pembaruan, patch menghilangkan kerentanan tanpa memperkenalkan regresi. Logika yang sama berlaku untuk AI. Kontrol yang bermakna bukan tentang jaminan global. Ini tentang jaminan komposisional, terbatas pada domain tertentu. Memastikan bahwa sub-sirkuit tidak bisa mengaktifkan fitur terlarang pada input tertentu. Membuktikan bahwa intervensi menghilangkan mode kegagalan sambil mempertahankan perilaku lain dalam lingkup. Itulah yang penting untuk penerapan berisiko tinggi - keuangan, kesehatan, rantai pasokan, moderasi konten.

Jalan ke depan membutuhkan investasi yang sebagian besar organisasi belum prioritaskan. Verifikasi formal, misalnya. Pembuktian matematis yang menetapkan properti perangkat lunak. Secara tradisional diterapkan pada pengendali pesawat dan protokol kriptografi, memperluas ini ke AI secara teknis menantang tetapi tidak mustahil. Kemajuan terbaru dalam ekstraksi sirkuit jarang menunjukkan bahwa model besar mengandung sub-sirkuit terisolasi yang stabil di bawah intervensi. Kerangka verifikasi neural menunjukkan bahwa penalaran lengkap dapat dilakukan ketika model dipecah menjadi komponen yang ramah verifikasi di domain terbatas.

Bagi kepemimpinan, keputusan adalah apakah akan menunggu metode ini matang atau membangun kapasitas sekarang. Menunggu membawa risiko. Penerapan AI semakin cepat. Kesenjangan antara apa yang diterapkan organisasi dan apa yang mereka kendalikan terus melebar. Alternatifnya adalah berinvestasi dalam tim yang memahami AI dan metode formal, menetapkan standar internal kapan debuggability diperlukan, bermitra dengan vendor yang memprioritaskan sistem yang dapat diverifikasi daripada kenyamanan kotak hitam. Ini berarti mengubah keputusan pengadaan. Saat mengevaluasi alat AI, tambahkan pertanyaan keempat selain akurasi, kecepatan, dan biaya: Bisakah kita memperbaikinya jika rusak?

Sebagian besar diskusi risiko AI berfokus pada ancaman eksternal - serangan adversarial, pencemaran data, aktor jahat. Kekhawatiran yang sah, tentu saja, tetapi mereka mengalihkan perhatian dari masalah mendasar. Bagi kebanyakan organisasi, risiko utama bukanlah AI yang digunakan sebagai senjata. Melainkan kegagalan operasional biasa dan kekurangan alat untuk meresponsnya. Itu masalah tata kelola, bukan masalah teknologi.

Argumen inti Neel Somani: tujuan akhir manajemen risiko AI bukanlah pemantauan yang lebih baik atau pengawasan yang lebih banyak. Melainkan membangun sistem yang dapat didebug dengan ketat seperti yang diminta perangkat lunak kritis keselamatan saat ini. Sampai itu menjadi praktik standar, organisasi menjalankan sistem yang sebenarnya tidak mereka kendalikan. Bagi setiap eksekutif, pertanyaannya bukan apakah AI akan mengubah industri Anda - itu sudah terjadi. Pertanyaannya adalah apakah organisasi Anda benar-benar akan mengaturnya saat hal itu penting.