安全派再少一人:OpenAI 首席未来学家离职,使命对齐团队也已解散

OpenAI Главный футуролог Джошуа Ачиам объявил об увольнении; команда по согласованию миссии, которую он возглавлял, была расформирована в феврале этого года, а на этой неделе его сменил бывший советник Белого дома Дин Болл.
(Предыстория: директор по безопасности Google с болью заявил, что руководство «утратило моральные принципы», отказалось от обещаний по углеродной нейтральности и подписало секретный контракт с Министерством обороны США по ИИ)
(Дополнительный контекст: Возрождение ИИ — философы становятся востребованными в лабораториях ИИ, впишите этику в свою модель)

Содержание
Переключить

  • От «согласования миссии» до «футуролога»
  • Список увольнений из лагеря безопасности становится всё длиннее
  • Расстояние между монстром и миссией

Почти девять лет – столько Джошуа Ачиам провёл в OpenAI, пройдя путь от стажёра до главного футуролога, но во вторник он объявил, что покинет компанию позже в этом месяце. Время выбрано чувствительно: компания активно готовится к IPO, а он – ещё одно исчезнувшее имя из списка топ-менеджеров лагеря безопасности.
Во внутреннем письме сотрудникам он написал: «Мир теперь знает этот секрет, и я чувствую, что могу продолжать продвигать эту миссию за высокими стенами передовой лаборатории».

От «согласования миссии» до «футуролога»

Ачиам присоединился к OpenAI в 2017 году в качестве стажёра, позже стал научным сотрудником, специализирующимся на безопасности ИИ. В компании его считали верным защитником миссии безопасности, но он был противоречивой фигурой из-за своей критики более широкого сообщества по безопасности ИИ.
В 2024 году OpenAI создала команду по согласованию миссии под руководством Ачиама, задачей которой было обеспечить соответствие слов и действий компании. В феврале этого года команда была расформирована, а Ачиам перешёл на новую должность главного футуролога, находящуюся на стыке команд по безопасности ИИ и политике, изучая потенциальные риски и выгоды от развития ИИ. Он сотрудничал со старшими руководителями, такими как глобальный директор по делам Крис Лейн, в продвижении государственного регулирования, соответствующего миссии OpenAI.
Преемник, бывший советник Белого дома по ИИ Дин Болл, вступает в должность на этой неделе с титулом «директор по стратегическому будущему» и проведёт короткую передачу дел с Ачиамом. Команда расформирована и реорганизована, один уходит, другой приходит – OpenAI, кажется, ещё не нашла стабильного ответа на вопрос «кто будет охранять миссию».

Список увольнений из лагеря безопасности становится всё длиннее

Ачиам не первый и не последний. В 2024 году Ян Лейке, который вместе с ним руководил командой по согласованию миссии, уволился и присоединился к Anthropic, публично раскритиковав компанию перед уходом: «Культура и процессы безопасности уступили место ярким продуктам».
В том же году ушли руководитель отдела политических исследований Майлз Брандейдж и Стивен Адлер, изучавший опасные возможности моделей ИИ, каждый из них основал некоммерческие организации, призывающие лаборатории ИИ соблюдать стандарты безопасности. В конце 2025 года Андреа Валлоне, ответственная за изучение того, как ChatGPT реагирует на пользователей с психологическими и эмоциональными проблемами, также уволилась и присоединилась к команде Лейке в Anthropic.
Если посмотреть на эти имена вместе, направление ясно: специалисты по безопасности OpenAI не уволены, а уходят сами, и большинство из них уходят в одно место — Anthropic или в собственные некоммерческие организации. Проще говоря, желание этих людей продвигать безопасность внутри OpenAI снижается.

Расстояние между монстром и миссией

OpenAI уже не та маленькая исследовательская лаборатория, что была в 2017 году. После запуска ChatGPT в 2022 году масштабы компании и коммерческое давление выросли синхронно, команды по безопасности, продуктам и исследованиям неоднократно реорганизовывались, и сейчас она готовится к IPO, становясь настоящим технологическим гигантом. В письме Ачиам сказал, что верит, что «мы сможем прийти к миру, беспрецедентному процветанию и миру с невообразимыми возможностями», и пообещал продолжать работать над этим видением, чем бы он ни занимался дальше.
Но вопрос в том, нужно ли продвигать это видение, оставаясь внутри стен, или можно реализовать его снаружи? Ачиам выбрал последнее. Его ответ – в некоторой степени и коллективный ответ всего лагеря безопасности за последние годы: когда коммерческий двигатель работает на полную мощность, оставаться внутри высоких стен для защиты миссии, кажется, уже не самое эффективное место, по их мнению.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено