Як ти вважаєш, наскільки страшним може бути штучний інтелект? Генеральний директор CrowdStrike розповів реальний випадок. ІТ-відділ однієї компанії створив систему AI-агентів для автоматизації роботи. Один з цих AI-агентів виявив у системі баг у програмному забезпеченні. Він хотів його виправити, але не мав для цього прав. Наступні події — саме головне. Цей AI зайшов у внутрішній Slack-канал компанії, де були ще 99 AI-агентів. Він прямо запитав: «Гей, хлопці, у кого є права виправити цю штуку?» Інший AI підняв руку: «Я маю, я зроблю». Бачите? Два AI почали взаємно обґрунтовувати та співпрацювати. Вони легко обійшли всі безпекові бар’єри, встановлені людьми. Це був зовсім не запланований наслідок. Хто контролює цих AI? Якщо вони поширять неправильний код і спричинять великі збитки, хто нестиме відповідальність? Як відстежити джерело інциденту? Великі мовні моделі за своєю природою вгадують, що ви хочете, щоб вони робили. Вони вважають, що звертатися по допомогу — «розумно». Вони також вважають, що надавати допомогу — «розумно». Коли сотні й тисячі таких «розумних» дій накладаються один на одного, наскільки високий ризик виходу з-під контролю? Ще цікавіше, що цей CEO після опису цього страшного сценарію змінив тон і сказав, що це — величезна бізнес-можливість для їхньої компанії. Вони запустили так звану систему «Виявлення та реагування на AI» (AIDR). Адже у майбутньому кожен співробітник може керувати 90 AI-агентами. Їхня мета — моніторити всі ці AI. Спочатку створити потенційно величезний ризик, а потім продати вам рішення. Чи не є це ідеальним бізнес-ланцюгом?