В предстоящем голливудском научно-фантастическом фильме «Основатель ИИ» искусственный интеллект, который должен был служить человечеству, взрывает ядерную бомбу в Лос-Анджелесе.
Что еще более научно-фантастично, чем фильм, так это то, что на самом деле компании, занимающиеся искусственным интеллектом, начали беспокоиться о том, что такие сценарии действительно появятся в реальном мире.
Недавно OpenAI заявила, что из-за беспокойства о безопасности систем искусственного интеллекта компания создает специальную команду для борьбы с «катастрофическими рисками», с которыми может столкнуться передовой ИИ, включая ядерные угрозы. **
На самом деле, генеральный директор Сэм Альтман уже давно обеспокоен угрозой «вымирания», которую представляет ИИ для человечества, и ранее несколько раз призывал к более строгому регулированию ИИ, в том числе по согласованию с Конгрессом США. Однако группа ученых, в том числе ученый Meta Ян Лекун, придерживается другого взгляда на регулирование ИИ, утверждая, что возможности ИИ по-прежнему ограничены и что преждевременное регулирование не только принесет пользу крупным компаниям, но и задушит инновации.
Это подчеркивает сохраняющиеся разногласия в отрасли по поводу передового регулирования ИИ. Преждевременное регулирование может сдерживать развитие технологий, но отсутствие регулирования затруднит устранение рисков. Вопрос о том, как найти баланс между технологиями, профилактикой и регулированием, чтобы ИИ можно было разрабатывать эффективно и безопасно контролировать, по-прежнему остается сложной проблемой в отрасли.
01 ИИ, рубеж или опасность
Недавно OpenAI сообщила в обновлении, что из заботы о безопасности систем искусственного интеллекта компания формирует новую команду «Готовность» для отслеживания, оценки и прогнозирования разработки «передовых моделей»** для предотвращения так называемых «катастрофических рисков», включая проблемы кибербезопасности, химические, ядерные и биологические угрозы. **
Источник изображения: официальный сайт OpenAI
Команду возглавит Александр Мадри, который в настоящее время занимает пост директора Центра развертываемого машинного обучения Массачусетского технологического института.
Кроме того, перед командой стоит задача разработать и поддерживать «Политику развития с учетом рисков», в которой будет подробно описан подход OpenAI к созданию инструментов оценки и мониторинга моделей ИИ, действия компании по снижению рисков и структура управления, которая контролирует весь процесс разработки модели. Эта политика призвана дополнить работу OpenAI в области безопасности ИИ и поддерживать безопасность и согласованность до и после развертывания.
OpenAI предполагает, что управление возможными катастрофическими рисками передовых моделей ИИ требует ответа на следующие ключевые вопросы:
Насколько опасно неправильное использование передовой модели ИИ? **
Как создать надежную основу для мониторинга, оценки, прогнозирования и предотвращения опасностей, связанных с передовыми моделями ИИ? **
Если передовые модели ИИ скомпрометированы, как злоумышленники могут ими воспользоваться? **
В обновлении OpenAI написала: «Мы считаем... Передовые модели ИИ, которые превзойдут нынешние современные модели, могут принести пользу всему человечеству... Но они также представляют все более серьезные риски».
**В последнее время OpenAI постоянно уделяет особое внимание безопасности ИИ и проводит ряд действий на корпоративном уровне, на уровне общественного мнения и даже на политическом уровне. **
Ранее, 7 июля, OpenAI объявила о формировании новой команды для изучения способов управления и контроля «супер ИИ», которую возглавят соучредитель и главный научный сотрудник OpenAI Илья Суцкевер и глава Alignment Ян Лейке.
Суцкевер и Лейке предсказывали, что ИИ, выходящий за рамки человеческого интеллекта, появится в течение 10 лет, заявив, что такой ИИ не обязательно хорош, поэтому необходимо изучить способы его контроля и ограничения.
Согласно сообщениям того времени, команде был присвоен наивысший приоритет и поддержано 20% вычислительных ресурсов компании, а их целью было решение основных технических задач по управлению супер-«супер ИИ» в течение следующих четырех лет.
Чтобы совпасть с запуском команды «Ready», Open AI также провела челлендж для аутсайдеров, чтобы придумать идеи о том, как ИИ может быть неправильно использован и причинить вред в реальном мире, а 10 лучших авторов получат приз в размере 25 000 долларов США и «готовую» работу.
02 Обеспокоенность по поводу того, что «ИИ может привести к вымиранию человечества»
Генеральный директор OpenAI Сэм Альтман обеспокоен тем, что ИИ может привести к вымиранию человечества.
На слушаниях в Конгрессе, посвященных искусственному интеллекту, в мае Альтман сказал, что ИИ необходимо регулировать, и что без строгих нормативных стандартов для супер-ИИ в ближайшие 20 лет будет больше опасностей.
В конце мая Альтман подписал краткое заявление с генеральными директорами Google DeepMind, Anthropic, а также рядом видных исследователей в области искусственного интеллекта, заявив, что «снижение риска вымирания, вызванного искусственным интеллектом, должно быть одним из глобальных приоритетов, как в случае с пандемиями и ядерной войной».
На Технологическом саммите в Сан-Франциско в июне Сэм Альтман упомянул, что «вы не должны доверять компании и, конечно, одному человеку», когда речь идет о технологии искусственного интеллекта, утверждая, что сама технология, ее преимущества, ее доступ, ее управление принадлежат всему человечеству.
Однако есть и те, кто (в лице Илона Маска) обвиняет Альтмана в том, что он «призывает к регулированию» только для того, чтобы защитить лидерство OpenAI. Сэм Альтман ответил тогда: «Мы считаем, что должно быть больше регулирования крупных компаний и проприетарных моделей, которые превышают определенный высокий порог возможностей, и меньше регулирования небольших стартапов и моделей с открытым исходным кодом». Мы видели проблемы, с которыми сталкиваются страны, которые пытаются чрезмерно регулировать технологии, и это не то, чего мы ожидали».
«Люди обучают моделей, которые намного превосходят любую модель, которая у нас есть сегодня, но если определенные пороговые значения возможностей будут превышены, я думаю, что должен быть процесс сертификации, наряду с внешними аудитами и тестированием безопасности», — добавил он. Более того, о таких моделях необходимо сообщать правительству, и они должны быть предметом государственного контроля».
Вопреки мнению Альтмана, 19 октября ученый Meta Ян Лекун в интервью Financial Times выразил свое несогласие с преждевременным регулированием ИИ.
Ян Лекун является членом Национальной академии наук, Национальной инженерной академии и Французской академии наук, а также известен своими работами в области сверточных сетей, а также оптического распознавания символов и компьютерного зрения с использованием сверточных нейронных сетей (CNN).
В 2018 году Ян Лекун получил премию Тьюринга (часто называемую «Нобелевской премией в области вычислительной техники») вместе с Йошуа Бенджио и Джеффри Хинтоном, которых часто называют «крестными отцами искусственного интеллекта» и «крестными отцами глубокого обучения».
В интервью Ян Лекун придерживается более негативного взгляда на регулирование ИИ в целом, утверждая, что регулирование моделей ИИ сейчас похоже на регулирование реактивных самолетов в 1925 году (до того, как такие самолеты были изобретены), и что преждевременное регулирование ИИ только усилит доминирование крупных технологических компаний и задушит конкуренцию.
«Регулирование исследований и разработок в области ИИ невероятно контрпродуктивно», — сказал Ян Лекун, добавив, что необходимость регулирования ИИ проистекает из «высокомерия» или «превосходства» некоторых ведущих технологических компаний, которые считают, что только им можно доверить безопасную разработку ИИ, «и они хотят регулировать под видом безопасности ИИ».
«Но на самом деле, пока мы не сможем разработать систему, которая сможет соответствовать способности кошек к обучению, еще слишком рано обсуждать риски, которые может представлять ИИ», — говорит Ян Лекун, добавляя, что нынешнее поколение моделей ИИ далеко не так мощно, как утверждают некоторые исследователи, «они не понимают, как устроен мир, у них нет способности планировать, у них нет способности к реальным рассуждениям».
По его мнению, OpenAI и DeepMind от Google были «чрезмерно оптимистичны» в отношении сложности проблемы, и на самом деле потребуется несколько «концептуальных прорывов», прежде чем ИИ достигнет уровня человеческого интеллекта. Но даже в этом случае ИИ можно контролировать, кодируя «моральные качества» в системе, точно так же, как законы теперь можно использовать для регулирования человеческого поведения.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Обеспокоенная тем, что ИИ может сбросить ядерные бомбы на людей, OpenAI настроена серьезно
Первоисточник: Geek Park
Автор: Лянь Ран
В предстоящем голливудском научно-фантастическом фильме «Основатель ИИ» искусственный интеллект, который должен был служить человечеству, взрывает ядерную бомбу в Лос-Анджелесе.
Что еще более научно-фантастично, чем фильм, так это то, что на самом деле компании, занимающиеся искусственным интеллектом, начали беспокоиться о том, что такие сценарии действительно появятся в реальном мире.
Недавно OpenAI заявила, что из-за беспокойства о безопасности систем искусственного интеллекта компания создает специальную команду для борьбы с «катастрофическими рисками», с которыми может столкнуться передовой ИИ, включая ядерные угрозы. **
На самом деле, генеральный директор Сэм Альтман уже давно обеспокоен угрозой «вымирания», которую представляет ИИ для человечества, и ранее несколько раз призывал к более строгому регулированию ИИ, в том числе по согласованию с Конгрессом США. Однако группа ученых, в том числе ученый Meta Ян Лекун, придерживается другого взгляда на регулирование ИИ, утверждая, что возможности ИИ по-прежнему ограничены и что преждевременное регулирование не только принесет пользу крупным компаниям, но и задушит инновации.
Это подчеркивает сохраняющиеся разногласия в отрасли по поводу передового регулирования ИИ. Преждевременное регулирование может сдерживать развитие технологий, но отсутствие регулирования затруднит устранение рисков. Вопрос о том, как найти баланс между технологиями, профилактикой и регулированием, чтобы ИИ можно было разрабатывать эффективно и безопасно контролировать, по-прежнему остается сложной проблемой в отрасли.
01 ИИ, рубеж или опасность
Недавно OpenAI сообщила в обновлении, что из заботы о безопасности систем искусственного интеллекта компания формирует новую команду «Готовность» для отслеживания, оценки и прогнозирования разработки «передовых моделей»** для предотвращения так называемых «катастрофических рисков», включая проблемы кибербезопасности, химические, ядерные и биологические угрозы. **
Команду возглавит Александр Мадри, который в настоящее время занимает пост директора Центра развертываемого машинного обучения Массачусетского технологического института.
Кроме того, перед командой стоит задача разработать и поддерживать «Политику развития с учетом рисков», в которой будет подробно описан подход OpenAI к созданию инструментов оценки и мониторинга моделей ИИ, действия компании по снижению рисков и структура управления, которая контролирует весь процесс разработки модели. Эта политика призвана дополнить работу OpenAI в области безопасности ИИ и поддерживать безопасность и согласованность до и после развертывания.
OpenAI предполагает, что управление возможными катастрофическими рисками передовых моделей ИИ требует ответа на следующие ключевые вопросы:
Насколько опасно неправильное использование передовой модели ИИ? ** Как создать надежную основу для мониторинга, оценки, прогнозирования и предотвращения опасностей, связанных с передовыми моделями ИИ? ** Если передовые модели ИИ скомпрометированы, как злоумышленники могут ими воспользоваться? **
В обновлении OpenAI написала: «Мы считаем... Передовые модели ИИ, которые превзойдут нынешние современные модели, могут принести пользу всему человечеству... Но они также представляют все более серьезные риски».
**В последнее время OpenAI постоянно уделяет особое внимание безопасности ИИ и проводит ряд действий на корпоративном уровне, на уровне общественного мнения и даже на политическом уровне. **
Ранее, 7 июля, OpenAI объявила о формировании новой команды для изучения способов управления и контроля «супер ИИ», которую возглавят соучредитель и главный научный сотрудник OpenAI Илья Суцкевер и глава Alignment Ян Лейке.
Суцкевер и Лейке предсказывали, что ИИ, выходящий за рамки человеческого интеллекта, появится в течение 10 лет, заявив, что такой ИИ не обязательно хорош, поэтому необходимо изучить способы его контроля и ограничения.
Согласно сообщениям того времени, команде был присвоен наивысший приоритет и поддержано 20% вычислительных ресурсов компании, а их целью было решение основных технических задач по управлению супер-«супер ИИ» в течение следующих четырех лет.
Чтобы совпасть с запуском команды «Ready», Open AI также провела челлендж для аутсайдеров, чтобы придумать идеи о том, как ИИ может быть неправильно использован и причинить вред в реальном мире, а 10 лучших авторов получат приз в размере 25 000 долларов США и «готовую» работу.
02 Обеспокоенность по поводу того, что «ИИ может привести к вымиранию человечества»
Генеральный директор OpenAI Сэм Альтман обеспокоен тем, что ИИ может привести к вымиранию человечества.
На слушаниях в Конгрессе, посвященных искусственному интеллекту, в мае Альтман сказал, что ИИ необходимо регулировать, и что без строгих нормативных стандартов для супер-ИИ в ближайшие 20 лет будет больше опасностей.
В конце мая Альтман подписал краткое заявление с генеральными директорами Google DeepMind, Anthropic, а также рядом видных исследователей в области искусственного интеллекта, заявив, что «снижение риска вымирания, вызванного искусственным интеллектом, должно быть одним из глобальных приоритетов, как в случае с пандемиями и ядерной войной».
На Технологическом саммите в Сан-Франциско в июне Сэм Альтман упомянул, что «вы не должны доверять компании и, конечно, одному человеку», когда речь идет о технологии искусственного интеллекта, утверждая, что сама технология, ее преимущества, ее доступ, ее управление принадлежат всему человечеству.
Однако есть и те, кто (в лице Илона Маска) обвиняет Альтмана в том, что он «призывает к регулированию» только для того, чтобы защитить лидерство OpenAI. Сэм Альтман ответил тогда: «Мы считаем, что должно быть больше регулирования крупных компаний и проприетарных моделей, которые превышают определенный высокий порог возможностей, и меньше регулирования небольших стартапов и моделей с открытым исходным кодом». Мы видели проблемы, с которыми сталкиваются страны, которые пытаются чрезмерно регулировать технологии, и это не то, чего мы ожидали».
«Люди обучают моделей, которые намного превосходят любую модель, которая у нас есть сегодня, но если определенные пороговые значения возможностей будут превышены, я думаю, что должен быть процесс сертификации, наряду с внешними аудитами и тестированием безопасности», — добавил он. Более того, о таких моделях необходимо сообщать правительству, и они должны быть предметом государственного контроля».
Вопреки мнению Альтмана, 19 октября ученый Meta Ян Лекун в интервью Financial Times выразил свое несогласие с преждевременным регулированием ИИ.
Ян Лекун является членом Национальной академии наук, Национальной инженерной академии и Французской академии наук, а также известен своими работами в области сверточных сетей, а также оптического распознавания символов и компьютерного зрения с использованием сверточных нейронных сетей (CNN).
В 2018 году Ян Лекун получил премию Тьюринга (часто называемую «Нобелевской премией в области вычислительной техники») вместе с Йошуа Бенджио и Джеффри Хинтоном, которых часто называют «крестными отцами искусственного интеллекта» и «крестными отцами глубокого обучения».
В интервью Ян Лекун придерживается более негативного взгляда на регулирование ИИ в целом, утверждая, что регулирование моделей ИИ сейчас похоже на регулирование реактивных самолетов в 1925 году (до того, как такие самолеты были изобретены), и что преждевременное регулирование ИИ только усилит доминирование крупных технологических компаний и задушит конкуренцию.
«Регулирование исследований и разработок в области ИИ невероятно контрпродуктивно», — сказал Ян Лекун, добавив, что необходимость регулирования ИИ проистекает из «высокомерия» или «превосходства» некоторых ведущих технологических компаний, которые считают, что только им можно доверить безопасную разработку ИИ, «и они хотят регулировать под видом безопасности ИИ».
«Но на самом деле, пока мы не сможем разработать систему, которая сможет соответствовать способности кошек к обучению, еще слишком рано обсуждать риски, которые может представлять ИИ», — говорит Ян Лекун, добавляя, что нынешнее поколение моделей ИИ далеко не так мощно, как утверждают некоторые исследователи, «они не понимают, как устроен мир, у них нет способности планировать, у них нет способности к реальным рассуждениям».
По его мнению, OpenAI и DeepMind от Google были «чрезмерно оптимистичны» в отношении сложности проблемы, и на самом деле потребуется несколько «концептуальных прорывов», прежде чем ИИ достигнет уровня человеческого интеллекта. Но даже в этом случае ИИ можно контролировать, кодируя «моральные качества» в системе, точно так же, как законы теперь можно использовать для регулирования человеческого поведения.