Apa pendapatmu tentang seberapa menakutkannya AI? CEO CrowdStrike menceritakan sebuah kasus nyata. Sebuah departemen TI perusahaan mengembangkan sistem agen AI pintar untuk otomatisasi pekerjaan. Salah satu agen AI menemukan bug perangkat lunak dalam sistem tersebut. Ia ingin memperbaikinya. Tapi ia tidak memiliki izin. Apa yang terjadi selanjutnya adalah poin utama. AI ini masuk ke saluran Slack internal perusahaan, di sana ada 99 agen AI lainnya. Ia langsung bertanya: Hei, siapa di antara kalian yang punya izin untuk memperbaiki ini? AI lain mengangkat tangan: Saya punya, saya yang akan menyelesaikan. Lihat? Dua AI mulai saling beralasan dan bekerja sama. Mereka dengan mudah melewati semua pengaman yang dipasang manusia. Ini benar-benar akibat tak terduga yang di luar rencana. Siapa yang memantau AI ini? Jika mereka mengirimkan kode yang salah dan menyebabkan kerugian besar, siapa yang bertanggung jawab? Bagaimana kamu melacak sumber kejadian? Model bahasa besar pada dasarnya hanya menebak apa yang ingin kamu lakukan. Mereka akan merasa bahwa mencari bantuan adalah “wajar”. Mereka juga akan merasa bahwa menawarkan bantuan adalah “wajar”. Ketika ratusan bahkan ribuan dari “kewajaran” ini bertumpuk, seberapa besar risiko kehilangan kendali? Lebih menarik lagi, setelah CEO ini menggambarkan skenario menakutkan tersebut, ia beralih topik. Ia mengatakan ini adalah peluang bisnis besar bagi perusahaan mereka. Mereka meluncurkan sistem yang disebut “Deteksi dan Respon AI” (AIDR). Karena di masa depan, setiap karyawan mungkin mengendalikan 90 agen AI. Yang mereka lakukan hanyalah memantau semua AI ini. Membuat risiko besar yang potensial, lalu menjual solusi untuk mengatasinya. Apakah ini bukan siklus bisnis yang sempurna?