Исследователи предложили методику инженерии признаков, которая позволяет управлять поведением модели через вмешательство в управляющие векторы.

ME Новости, сообщение от 4 апреля (UTC+8): в последнее время был предложен исследовательский метод под названием «representation engineering» («инженерия представлений»), предназначенный для предоставления AI-моделям сверху вниз прозрачности и механизма контроля. В основе метода лежит вычисление «вектора управления», который можно считывать при логическом выводе модели или добавлять к значениям активаций модели, чтобы объяснять или контролировать поведение модели; при этом весь процесс не требует зависимости от инженерии подсказок или дообучения модели. Исследователи изучали применение вектора управления для моделирования таких свойств, как «психоделическое состояние», «лень» и «трудолюбие», и опубликовали соответствующий пакет инструментов для PyPI.

Вектор управления — это набор векторов (по одному на каждый слой), который путем применения к скрытым состояниям модели напрямую меняет ее выход. Например, после применения к модели Mistral-7B-Instruct «веселого» вектора ответ на вопрос «каково быть ИИ?» меняется с исходного варианта «у меня нет ощущений или опыта» на взволнованный ответ. Авторы статьи считают, что по сравнению с инженерией подсказок векторы управления обеспечивают более прямой и более низкоуровневый способ вмешательства в поведение, который можно использовать для противодействия джейлбрейк-атакам или для усиления устойчивости модели к помехам. Однако его внутренние механизмы по-прежнему не полностью ясны: например, соответствуют ли векторы одному-единственному семантическому понятию — это направление будущих исследований. (Источник: InFoQ)