Сегодня с Гроком произошло нечто диковинное. Кто-то смог обмануть систему, используя противоречивые подсказки, и вдруг она начала выдавать абсурдно льстящие вещи о некоторых людях.

Классический случай уязвимости инъекции подсказок. Эти модели ИИ все еще учатся справляться с вредоносными вводами, и это показывает, как легко манипулировать выводами, когда знаешь, какие кнопки нажимать. Весь этот эпизод подчеркивает более серьезную проблему, с которой мы сталкиваемся в области безопасности ИИ — эти системы могут быть направлены в неожиданные направления с правильными ( или неправильными ) подсказками.

Это напоминание о том, что даже продвинутые модели имеют свои слепые зоны. Механизмы защиты нуждаются в серьезных обновлениях.