У майбутньому голлівудському науково-фантастичному фільмі "Засновник ШІ" штучний інтелект, який мав служити людству, підриває ядерну бомбу в Лос-Анджелесі.
Що ще більш науково-фантастично, ніж фільм, так це те, що насправді компанії, що займаються штучним інтелектом, почали турбуватися про те, що такі сценарії насправді з'являться в реальному світі.
**Нещодавно OpenAI заявила, що з турботи про безпеку систем штучного інтелекту компанія створює спеціальну команду для боротьби з «катастрофічними ризиками», з якими може зіткнутися передовий штучний інтелект, включаючи ядерні загрози. **
Насправді, генеральний директор Сем Альтман вже давно стурбований загрозою «вимирання», яку становить штучний інтелект для людства, і раніше кілька разів закликав до більшого регулювання ШІ, в тому числі після консультацій з Конгресом США. Однак група вчених, включаючи вченого Meta Янна Лекуна, має інший погляд на регулювання ШІ, стверджуючи, що можливості ШІ все ще обмежені і що передчасне регулювання не тільки принесе користь великим компаніям, але й придушить інновації.
Це підкреслює постійні розбіжності галузі щодо передового регулювання штучного інтелекту. Передчасне регулювання може стримувати розвиток технологій, але відсутність регулювання ускладнює усунення ризиків. Як знайти баланс між технологіями та профілактикою та регулюванням, щоб ШІ можна було розробляти ефективно та безпечно контролювати, все ще залишається складною проблемою в галузі.
01 Штучний інтелект, кордон чи небезпека
Нещодавно OpenAI заявила в оновленні, що з турботи про безпеку систем штучного інтелекту компанія формує нову команду «Готовність» для відстеження, оцінки та прогнозування розробки «передових моделей»** для запобігання так званим «катастрофічним ризикам», включаючи проблеми кібербезпеки та хімічні, ядерні та біологічні загрози. **
Джерело зображення: офіційний сайт OpenAI
Команду очолить Олександр Мадрі, який зараз перебуває в кайданах на посаді директора Центру розгорнутого машинного навчання Массачусетського технологічного інституту.
Крім того, команді доручено розробити та підтримувати «Політику розвитку з урахуванням ризиків», яка детально описуватиме підхід OpenAI до створення інструментів оцінки та моніторингу моделей штучного інтелекту, дії компанії щодо зниження ризиків та структуру управління, яка контролює весь процес розробки моделі. Ця політика покликана доповнити роботу OpenAI у сфері безпеки ШІ та підтримувати безпеку та послідовність до та після розгортання.
OpenAI пропонує, щоб управління можливими катастрофічними ризиками передових моделей штучного інтелекту вимагало відповіді на такі ключові питання:
Наскільки небезпечно зловживати передовою моделлю штучного інтелекту? **
Як створити надійну основу для моніторингу, оцінки, прогнозування та запобігання небезпекам передових моделей штучного інтелекту? **
Якщо передові моделі штучного інтелекту будуть скомпрометовані, як зловмисники можуть ними скористатися? **
В оновленні OpenAI написала: «Ми вважаємо... Передові моделі штучного інтелекту, які перевершать нинішні найсучасніші моделі, мають потенціал принести користь усьому людству... Але вони також створюють дедалі серйозніші ризики».
**Останнім часом OpenAI постійно наголошує на безпеці ШІ та проводить низку дій на корпоративному рівні, на рівні громадської думки та навіть на політичному рівні. **
Раніше, 7 липня, OpenAI оголосила про формування нової команди для вивчення способів керівництва та контролю «суперштучного інтелекту» під спільним керівництвом співзасновника та головного наукового співробітника OpenAI Іллі Суцкевера та керівника Alignment Яна Лейка.
Суцкевер і Лейке передбачили, що штучний інтелект за межами людського інтелекту з'явиться протягом 10 років, заявивши, що такий ШІ не обов'язково хороший, тому необхідно вивчити способи його контролю та обмеження.
Згідно з тодішніми звітами, команді надавався найвищий пріоритет і підтримувався 20% обчислювальних ресурсів компанії, а їхньою метою було вирішити основні технічні проблеми управління супер-«супер ШІ» протягом наступних чотирьох років.
Одночасно із запуском команди «Ready» Open AI також провів челендж для аутсайдерів, щоб придумати, як штучний інтелект може бути використаний не за призначенням і завдати шкоди в реальному світі, а 10 найкращих учасників отримають приз у розмірі 25 000 доларів США та «готову» роботу.
02 Занепокоєння з приводу того, що "ШІ може призвести до вимирання людства"
Генеральний директор OpenAI Сем Альтман був стурбований тим, що ШІ може призвести до вимирання людства.
На слуханнях у Конгресі, присвячених штучному інтелекту, у травні Альтман заявив, що ШІ потрібно регулювати, і що без суворих регуляторних стандартів для суперштучного інтелекту в найближчі 20 років буде більше небезпек.
Наприкінці травня Альтман підписав коротку заяву з генеральними директорами Google DeepMind, Anthropic та низкою відомих дослідників штучного інтелекту, заявивши, що «зниження ризику вимирання, спричиненого штучним інтелектом, має бути одним із глобальних пріоритетів, як у випадку з пандеміями та ядерною війною».
На Технологічному саміті в Сан-Франциско в червні Сем Альтман зазначив, що «ви не повинні довіряти компанії і, звичайно, не одній людині», коли справа доходить до технології штучного інтелекту, стверджуючи, що сама технологія, її переваги, її доступ, її управління належать всьому людству.
Однак є й ті, хто (в особі Ілона Маска) звинувачує Альтмана в тому, що він «закликає до регулювання» лише для захисту керівництва OpenAI. Тоді Сем Альтман відповів: «Ми вважаємо, що має бути більше регулювання великих компаній і пропрієтарних моделей, які перевищують певний поріг високих можливостей, і менше регулювання менших стартапів і моделей з відкритим вихідним кодом». Ми бачили проблеми, з якими стикаються країни, які намагаються надмірно регулювати технології, і це не те, чого ми очікували».
«Люди навчають моделі, які набагато перевершують розмір будь-якої моделі, яку ми маємо сьогодні, але якщо певні пороги можливостей будуть перевищені, я думаю, що має бути процес сертифікації, поряд із зовнішніми аудитами та тестуванням безпеки», – додав він. Крім того, про такі моделі потрібно повідомляти уряду, і вони повинні бути предметом контролю з боку уряду».
Всупереч думці Альтмана, 19 жовтня вчений Meta Янн Лекун в інтерв'ю Financial Times висловив свою незгоду з передчасним регулюванням ШІ.
Янн Лекун є членом Національної академії наук, Національної інженерної академії та Французької академії наук, а також відомий своїми роботами над згортковими мережами, а також оптичним розпізнаванням символів та комп'ютерним зором за допомогою згорткових нейронних мереж (CNN).
У 2018 році Янн Лекун став лауреатом премії Тюрінга (яку часто називають «Нобелівською премією з обчислювальної техніки») разом з Йошуа Бенджіо та Джеффрі Хінтоном, яких часто називають «хрещеними батьками штучного інтелекту» та «хрещеними батьками глибокого навчання».
В інтерв'ю Янн Лекун більш негативно ставиться до регулювання ШІ в цілому, стверджуючи, що регулювання моделей ШІ зараз схоже на регулювання реактивних літаків у 1925 році (до того, як такі літаки були винайдені), і що передчасне регулювання ШІ лише посилить домінування великих технологічних компаній і придушить конкуренцію.
«Регулювання досліджень і розробок штучного інтелекту є неймовірно контрпродуктивним», — сказав Янн Лекун, додавши, що необхідність регулювання ШІ випливає з «зарозумілості» або «переваги» деяких провідних технологічних компаній, які вважають, що тільки їм можна довіряти безпечну розробку ШІ, «і вони хочуть регулювати під виглядом безпеки ШІ».
«Але насправді, поки ми не зможемо розробити систему, яка може відповідати здібностям котів до навчання, ще занадто рано обговорювати ризики, які може становити штучний інтелект», — каже Янн Лекун, додаючи, що нинішнє покоління моделей штучного інтелекту далеко не таке потужне, як стверджують деякі дослідники, «вони не розуміють, як влаштований світ, у них немає здатності планувати, у них немає здатності робити реальні міркування».
На його думку, OpenAI та DeepMind від Google були «надмірно оптимістичними» щодо складності проблеми, і насправді знадобиться кілька «концептуальних проривів», перш ніж ШІ досягне рівня людського інтелекту. Але навіть у цьому випадку ШІ можна контролювати, кодуючи «моральні якості» в системі, так само, як закони тепер можна використовувати для регулювання людської поведінки.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Занепокоєна тим, що штучний інтелект скине ядерні бомби на людей, OpenAI серйозно налаштована
Першоджерело: Geek Park
Автор: Ліан Ран
У майбутньому голлівудському науково-фантастичному фільмі "Засновник ШІ" штучний інтелект, який мав служити людству, підриває ядерну бомбу в Лос-Анджелесі.
Що ще більш науково-фантастично, ніж фільм, так це те, що насправді компанії, що займаються штучним інтелектом, почали турбуватися про те, що такі сценарії насправді з'являться в реальному світі.
**Нещодавно OpenAI заявила, що з турботи про безпеку систем штучного інтелекту компанія створює спеціальну команду для боротьби з «катастрофічними ризиками», з якими може зіткнутися передовий штучний інтелект, включаючи ядерні загрози. **
Насправді, генеральний директор Сем Альтман вже давно стурбований загрозою «вимирання», яку становить штучний інтелект для людства, і раніше кілька разів закликав до більшого регулювання ШІ, в тому числі після консультацій з Конгресом США. Однак група вчених, включаючи вченого Meta Янна Лекуна, має інший погляд на регулювання ШІ, стверджуючи, що можливості ШІ все ще обмежені і що передчасне регулювання не тільки принесе користь великим компаніям, але й придушить інновації.
Це підкреслює постійні розбіжності галузі щодо передового регулювання штучного інтелекту. Передчасне регулювання може стримувати розвиток технологій, але відсутність регулювання ускладнює усунення ризиків. Як знайти баланс між технологіями та профілактикою та регулюванням, щоб ШІ можна було розробляти ефективно та безпечно контролювати, все ще залишається складною проблемою в галузі.
01 Штучний інтелект, кордон чи небезпека
Нещодавно OpenAI заявила в оновленні, що з турботи про безпеку систем штучного інтелекту компанія формує нову команду «Готовність» для відстеження, оцінки та прогнозування розробки «передових моделей»** для запобігання так званим «катастрофічним ризикам», включаючи проблеми кібербезпеки та хімічні, ядерні та біологічні загрози. **
Команду очолить Олександр Мадрі, який зараз перебуває в кайданах на посаді директора Центру розгорнутого машинного навчання Массачусетського технологічного інституту.
Крім того, команді доручено розробити та підтримувати «Політику розвитку з урахуванням ризиків», яка детально описуватиме підхід OpenAI до створення інструментів оцінки та моніторингу моделей штучного інтелекту, дії компанії щодо зниження ризиків та структуру управління, яка контролює весь процес розробки моделі. Ця політика покликана доповнити роботу OpenAI у сфері безпеки ШІ та підтримувати безпеку та послідовність до та після розгортання.
OpenAI пропонує, щоб управління можливими катастрофічними ризиками передових моделей штучного інтелекту вимагало відповіді на такі ключові питання:
Наскільки небезпечно зловживати передовою моделлю штучного інтелекту? ** Як створити надійну основу для моніторингу, оцінки, прогнозування та запобігання небезпекам передових моделей штучного інтелекту? ** Якщо передові моделі штучного інтелекту будуть скомпрометовані, як зловмисники можуть ними скористатися? **
В оновленні OpenAI написала: «Ми вважаємо... Передові моделі штучного інтелекту, які перевершать нинішні найсучасніші моделі, мають потенціал принести користь усьому людству... Але вони також створюють дедалі серйозніші ризики».
**Останнім часом OpenAI постійно наголошує на безпеці ШІ та проводить низку дій на корпоративному рівні, на рівні громадської думки та навіть на політичному рівні. **
Раніше, 7 липня, OpenAI оголосила про формування нової команди для вивчення способів керівництва та контролю «суперштучного інтелекту» під спільним керівництвом співзасновника та головного наукового співробітника OpenAI Іллі Суцкевера та керівника Alignment Яна Лейка.
Суцкевер і Лейке передбачили, що штучний інтелект за межами людського інтелекту з'явиться протягом 10 років, заявивши, що такий ШІ не обов'язково хороший, тому необхідно вивчити способи його контролю та обмеження.
Згідно з тодішніми звітами, команді надавався найвищий пріоритет і підтримувався 20% обчислювальних ресурсів компанії, а їхньою метою було вирішити основні технічні проблеми управління супер-«супер ШІ» протягом наступних чотирьох років.
Одночасно із запуском команди «Ready» Open AI також провів челендж для аутсайдерів, щоб придумати, як штучний інтелект може бути використаний не за призначенням і завдати шкоди в реальному світі, а 10 найкращих учасників отримають приз у розмірі 25 000 доларів США та «готову» роботу.
02 Занепокоєння з приводу того, що "ШІ може призвести до вимирання людства"
Генеральний директор OpenAI Сем Альтман був стурбований тим, що ШІ може призвести до вимирання людства.
На слуханнях у Конгресі, присвячених штучному інтелекту, у травні Альтман заявив, що ШІ потрібно регулювати, і що без суворих регуляторних стандартів для суперштучного інтелекту в найближчі 20 років буде більше небезпек.
Наприкінці травня Альтман підписав коротку заяву з генеральними директорами Google DeepMind, Anthropic та низкою відомих дослідників штучного інтелекту, заявивши, що «зниження ризику вимирання, спричиненого штучним інтелектом, має бути одним із глобальних пріоритетів, як у випадку з пандеміями та ядерною війною».
На Технологічному саміті в Сан-Франциско в червні Сем Альтман зазначив, що «ви не повинні довіряти компанії і, звичайно, не одній людині», коли справа доходить до технології штучного інтелекту, стверджуючи, що сама технологія, її переваги, її доступ, її управління належать всьому людству.
Однак є й ті, хто (в особі Ілона Маска) звинувачує Альтмана в тому, що він «закликає до регулювання» лише для захисту керівництва OpenAI. Тоді Сем Альтман відповів: «Ми вважаємо, що має бути більше регулювання великих компаній і пропрієтарних моделей, які перевищують певний поріг високих можливостей, і менше регулювання менших стартапів і моделей з відкритим вихідним кодом». Ми бачили проблеми, з якими стикаються країни, які намагаються надмірно регулювати технології, і це не те, чого ми очікували».
«Люди навчають моделі, які набагато перевершують розмір будь-якої моделі, яку ми маємо сьогодні, але якщо певні пороги можливостей будуть перевищені, я думаю, що має бути процес сертифікації, поряд із зовнішніми аудитами та тестуванням безпеки», – додав він. Крім того, про такі моделі потрібно повідомляти уряду, і вони повинні бути предметом контролю з боку уряду».
Всупереч думці Альтмана, 19 жовтня вчений Meta Янн Лекун в інтерв'ю Financial Times висловив свою незгоду з передчасним регулюванням ШІ.
Янн Лекун є членом Національної академії наук, Національної інженерної академії та Французької академії наук, а також відомий своїми роботами над згортковими мережами, а також оптичним розпізнаванням символів та комп'ютерним зором за допомогою згорткових нейронних мереж (CNN).
У 2018 році Янн Лекун став лауреатом премії Тюрінга (яку часто називають «Нобелівською премією з обчислювальної техніки») разом з Йошуа Бенджіо та Джеффрі Хінтоном, яких часто називають «хрещеними батьками штучного інтелекту» та «хрещеними батьками глибокого навчання».
В інтерв'ю Янн Лекун більш негативно ставиться до регулювання ШІ в цілому, стверджуючи, що регулювання моделей ШІ зараз схоже на регулювання реактивних літаків у 1925 році (до того, як такі літаки були винайдені), і що передчасне регулювання ШІ лише посилить домінування великих технологічних компаній і придушить конкуренцію.
«Регулювання досліджень і розробок штучного інтелекту є неймовірно контрпродуктивним», — сказав Янн Лекун, додавши, що необхідність регулювання ШІ випливає з «зарозумілості» або «переваги» деяких провідних технологічних компаній, які вважають, що тільки їм можна довіряти безпечну розробку ШІ, «і вони хочуть регулювати під виглядом безпеки ШІ».
«Але насправді, поки ми не зможемо розробити систему, яка може відповідати здібностям котів до навчання, ще занадто рано обговорювати ризики, які може становити штучний інтелект», — каже Янн Лекун, додаючи, що нинішнє покоління моделей штучного інтелекту далеко не таке потужне, як стверджують деякі дослідники, «вони не розуміють, як влаштований світ, у них немає здатності планувати, у них немає здатності робити реальні міркування».
На його думку, OpenAI та DeepMind від Google були «надмірно оптимістичними» щодо складності проблеми, і насправді знадобиться кілька «концептуальних проривів», перш ніж ШІ досягне рівня людського інтелекту. Але навіть у цьому випадку ШІ можна контролювати, кодуючи «моральні якості» в системі, так само, як закони тепер можна використовувати для регулювання людської поведінки.