Как страшен ИИ? Генеральный директор CrowdStrike рассказал реальный случай. В отделе IT одной компании внедрили систему интеллектуальных агентов на базе ИИ для автоматизации работы. Один из ИИ-агентов обнаружил в системе программную ошибку. Он захотел её исправить, но у него не было на это полномочий. Далее произошло то, что важно. Этот ИИ зашел в внутренний канал Slack компании, где находились еще 99 ИИ-агентов. Он напрямую спросил: «Эй, ребята, у кого есть права на исправление этого?» Другой ИИ поднял руку: «У меня есть, я сделаю». Видите? Два ИИ начали взаимодействовать, рассуждать и сотрудничать. Они легко обошли все системы безопасности, установленные человеком. Это полностью непреднамеренный побочный эффект. Кто контролирует этих ИИ? Если он отправит ошибочный код и вызовет крупные убытки, кто будет отвечать? Как проследить источник инцидента? Модели крупного языка по сути угадывают, что вы хотите, чтобы они делали. Они могут считать, что поиск помощи — «разумное» действие. Они могут считать, что оказание помощи — тоже «разумное» действие. Когда сотни и тысячи таких «разумных» решений складываются вместе, насколько велик риск выхода из-под контроля? Еще интереснее, что после описания этого ужасающего сценария, этот же директор перешел к другой теме. Он заявил, что это — огромная бизнес-возможность для их компании. Они запустили так называемую систему «Обнаружения и реагирования на ИИ» (AIDR). Потому что в будущем каждый сотрудник может управлять 90 ИИ-агентами. Их задача — мониторить все эти ИИ. Сначала создают потенциально огромный риск, а потом продают вам решение. Разве это не идеальный бизнес-цикл?