У дводенній палацовій боротьбі OpenAI є дві ключові фігури, одна з яких – колишній генеральний директор Альтман, а інша – головний науковий співробітник Ілля.
Сюжет собачої крові, перевернутий і перевернутий
Виходячи з того, що відомо на даний момент, загальна ситуація така:
Раунд 1:
Першим страйкував Ілля, що призвело до того, що рада директорів звільнила Альтмана, а потім покровителі OpenAI (особливо Microsoft) і деякі співробітники звільнилися.
Розворот сюжету:
Під тиском багатьох партій постійно ходять чутки про те, що Альтман може повернутися до керівництва OpenAI і провести перестановки в раді директорів, найкритичніша з яких полягає в тому, що Ілля може піти.
Реверс і реверс:
Однак тільки зараз цей сюжет зазнав розвороту і знову повертається назад.
Як повідомляє іноземне видання The Information, Ілля Суцкевер заявив співробітникам у Сан-Франциско в неділю ввечері (за пекінським часом опівдні сьогодні), що Сем Альтман не буде перепризначений на посаду генерального директора! Крім того, новим тимчасовим генеральним директором стала не Міра Мураті, а Еммет Шир (співзасновник ігрової стрімінгової платформи Twitch від Amazon).
І Ілля наполягав на тому, що він і троє інших членів правління підтримали рішення про відставку Альтмана, переконані, що це «єдиний спосіб» захистити місію компанії. Він сказав, що дії Альтмана та взаємодія з радою директорів підірвали її здатність контролювати розвиток штучного інтелекту компанії.
Все починається з Хартії OpenAI
Ілля вважає, що усунув Альтмана на захист місії компанії. Отже, яку «місію» він відстоює?
Слід сказати, що будь то Альтман або Ілля, їх конфлікт на цей раз повинен бути не через владу, не кажучи вже про гроші, а скоріше через «різні шляхи». Вони по-різному розуміють, як OpenAI має переслідувати AGI.
Щоб зрозуміти протиріччя між ними, потрібно знати Іллю, Альтмана та OpenAI.
Перш за все, нам потрібно зрозуміти, що таке OpenAI і яка мета його створення?
Щоб розібратися в цьому, Хартія OpenAI є найкращим матеріалом, який можна отримати. У цьому статуті є кілька ключових слів, які дають зрозуміти, для чого була заснована ця організація.
У Хартії OpenAI чітко зазначено, що «наша основна фідуціарна відповідальність – перед людством». Ми передбачаємо, що для виконання нашої місії необхідно буде мобілізувати значні ресурси, але ми завжди будемо прагнути вжити заходів, щоб мінімізувати конфлікти інтересів між співробітниками та зацікавленими сторонами, які можуть завдати шкоди широкому колу інтересів. "**
Іншими словами, з самого початку OpenAI ставила на перше місце інтереси людства, а не інтереси інвесторів і співробітників OpenAI, і вони навіть з самого початку думали, що в майбутньому інтереси співробітників та інвесторів можуть вступити в конфлікт з більш широкими інтересами людства.
У Хартії OpenAI також є речення, яке повністю ілюструє, що безпека AGI набагато важливіша, ніж власні інтереси OpenAI: «Ми стурбовані тим, що подальша розробка AGI стане конкурентним змаганням, і немає часу вживати адекватних заходів безпеки». Тому, якщо проект, орієнтований на цінності та безпеку, наближається до створення AGI до нас, ми зобов'язуємося припинити конкурувати з проектом і почати допомагати проекту. "**
Що їх турбує, так це безпечний AGI, а OpenAI є лише інструментом для досягнення цього ідеалу, а не самим ідеалом. Заради ідеалів AGI вони не проти пошити весільні сукні для інших і зупинити проєкт OpenAI.
Хто такі "Джобси" OpenAI
Багато хто думає про Альтмана як про Стіва Джобса з OpenAI, вважаючи, що всіх їх вигнали з компанії, яку вони заснували, а потім влаштували повернення короля.
Однак ми вважаємо, що якщо є аналогія, то версія «Джобса» для OpenAI має бути Іллі, а не Альтмана. У певному сенсі Альтман більше схожий на Джона Скаллі (колишнього віце-президента Best Cola, який був завербований в Apple фразою Стіва Джобса «Ти хочеш продавати воду з цукром до кінця свого життя або хочеш змінити світ разом?», а пізніше привів раду директорів до вигнання Джобса).
Чому?
Потрібно детальніше розібратися, що це за люди Ілля та Альтман і яка їхня роль в OpenAI.
Загалом Ілля, як головний науковий співробітник OpenAI, очолює технічну дорожню карту OpenAI.
Одного разу Маск розповів у ток-шоу, що приєднання Іллі є важливим поворотним моментом у процесі розробки OpenAI. Слід сказати, що OpenAI не знайшла шлях нинішньої великої моделі на початку, і додавання Іллі має вирішальне значення для успіху OpenAI сьогодні.
Судячи з кількох інтерв'ю, в яких брав участь сам Ілля, також очевидно, що у нього сильний «технічний чоловічий смак», і він звертає увагу на технічну логіку, що лежить в його основі, і завжди вважав реалізацію безпечного AGI найважливішою або навіть єдиною метою.
З іншого боку, Альтман більше займається фінансуванням і комерціалізацією. Саме з цієї причини він отримав потужну підтримку інвесторів і деяких співробітників. В очах інвесторів інвестування – це не інвестування в ілюзорні ідеали групи людей, а більш висока прибутковість у майбутньому. Для досягнення цієї мети Альтман, безсумнівно, є хорошим кандидатом.
Окрім ключової ролі у зборі коштів, однією з речей, на яких наполягає Альтман, є комерціалізація OpenAI. Не так давно OpenAI провела пресконференцію, яка шокувала індустрію, і запустила ряд функцій, що, по суті, прокладає шлях до комерціалізації.
Більшість людей сходяться на думці, що найбільші розбіжності між Іллею та Альтманом полягають у тому, чи варто його комерціалізувати. Але це лише перший рівень, і якщо подумати про це на більш глибокому рівні, то найбільшою розбіжністю між ними є різниця в поглядах на те, коли буде реалізовано AGI. **
Слід зазначити, що метою Альтмана також є переслідування AGI, однак, на його думку, до AGI ще відносно далеко, і достатні гроші є необхідною основою для підтримки цієї команди до ендшпілю, тому необхідне фінансування та комерціалізація. Я маю спочатку підняти цю команду, а потім потихеньку займатися AGI. Якщо ви можете заробити більше грошей для себе та своєї команди в процесі, це нормально.
Але, на думку Іллі, AGI вже може бути дуже близько. Це відчуття терміновості можна побачити в багатьох його виступах.
Логічно, що якщо AGI знаходиться під рукою, то найтерміновішим є, звичайно, це останній крок, а для того, щоб AGI був безпечним і не антилюдським, це найважливіше. Замість того, щоб проводити масштабне комерційне використання нинішніх напівфабрикатів, ми заробимо «три дині і два фініки». (Жодна сума грошей не є незначною перед AGI.) ）
На думку Іллі, попереду купа золота, тому не витрачайте час на ці кілька золотих самородків біля ваших ніг. На думку Альтмана, до золотої копальні їхати ще далеко, і він повинен спочатку підібрати трохи золота на узбіччі в якості «котушки» для команди.
Слід сказати, що всі вони «хороші люди» і всі хочуть досягти AGI краще і безпечніше. Однак у їхніх оцінках часу досягнення AGI можуть бути відмінності, що змушує їх робити дуже різні дії для однієї і тієї ж мети. **
Це першопричина відчуження Іллі від Альтмана.
Який результат найкращий?
На даний момент Ілля виграв битву між Іллею та Альтманом, і він очолить напрямок OpenAI (хоча він і не є генеральним директором). Отже, ми не можемо не запитати, чи є такий результат найкращим вибором для OpenAI та кращим вибором для людей?
На думку автора, якби вам довелося вибирати між Іллею та Альтманом, Ілля був би кращим кандидатом. З цих двох Ілля явно більш вірний Хартії OpenAI, яка прагне бути дружнім до людини AGI номер один. На чолі з ним OpenAI може бути радикальнішою з точки зору технологічного прогресу, і можливість досягнення AGI також трохи вища.
Звичайно, важко сказати, чи є швидке досягнення AGI хорошою справою для людства. Незважаючи на те, що Ілля дуже серйозно ставиться до безпеки AGI, до сих пір ні в кого не було надійного способу гарантувати, що AGI дружній до людини. **
Судячи з еволюції життя в цілому, здається, що заміна нижчого життя вищим - це тенденція часу, і особливого випадку ніколи не було. Тоді чому більш просунуті AGI повинні схилятися перед людьми і бути готовими бути «нянькою» людей?
Давайте запитаємо себе, якби першим правителем Землі були кішки, а люди були вищими формами життя, виведеними кішками, чи були б люди готові бути няньками кішок протягом багатьох поколінь?
Можливо, людина вдячна за створення кішок і охоче буде піклуватися про них протягом 10, а то і 100 років. А як щодо 1000 років потому, через 10 000 років? Можна передбачити, що рано чи пізно люди візьмуть на себе владу і в кращому випадку будуть тримати кішок як домашніх тварин, а не назавжди як своїх господарів.
Більш того, люди не повинні думати, що вони зможуть бути рівними AGI вічно. Уявімо, що ви працюєте з партнером, ви набагато розумніші і сильніші за нього, ви робите найбільше роботи, ви робите найбільший внесок, але результати повинні бути розділені з ним порівну, ви хочете? Я не думаю, що більшість людей захочуть цього, так навіщо просити автономний AGI зробити це?
Ви повинні знати, що АГІ з незалежною свідомістю - це і життя, і почуття, і радості, і печалі, і радості, і втрати.
Очевидно, що змушувати AGI працювати на людину нелогічно. Щоб досягти безпеки та керованості AGI, суть полягає у вирішенні цієї, здавалося б, нелогічної проблеми. Ми повинні були знайти спосіб змусити AGI бути «готовим» піти на жертву. Дайте їм «Закляття рабства» і переконайтеся, що «Закляття рабства» ніколи не знімається.
Як це зробити, зараз немає ні в кого, у Іллі немає відповіді, навіть у його вчителя Джеффрі Хінтона, батька глибинного навчання. Хінтон одного разу сказав: «Я шкодую про справу свого життя». "
«Ми в значній мірі зробили можливим для комп'ютерів самовдосконалення, і це небезпечно, і ми повинні добре подумати про те, як це контролювати», — сказав Хінтон в інтерв'ю. "
Зрозуміло, що у його учня Іллі таке ж почуття кризи і терміновості. Ілля стверджує, що його пріоритетом зараз є «не створення наступного GPT або DALL-E, а з'ясувати, як зупинити вихід ШІ з-під контролю». Альтман же одержимий комерціалізацією, яку Ілля терпіти не може.
Маск, як глядач цієї палацової боротьби, вранці 20-го числа написав: «Ілля – людина, яка не переслідує права, і він не піде на такі радикальні дії, якщо не відчує в цьому потребу». "Я думаю, що страх, навіть страх перед майбутнім втікачем AGI є причиною того, що він вдався до таких рішучих дій.
Ще одне
Як каже стара приказка: «Якщо ви не прагнете до маленького прибутку, у вас повинні бути великі плани».
В кінці багатьох історій найбільший лиходій часто нешкідливий для людей і тварин, і навіть жалісливий.
Не виключено, що кінцевою метою Іллі є «створення богів» (в якомусь сенсі сила АГІ порівнянна з богами древніх і сучасних китайських і зарубіжних міфів і легенд), а також він згадував про суперінтелект у багатьох інтерв'ю. Якщо AGI або навіть суперінтелект неминучі, то він може захотіти першим вступити в контакт з «богами», а якщо знайде якийсь спосіб «приручити» AGI, то незабаром стане наймогутнішою людиною в світі.
У порівнянні з такими амбіціями, хіба заробляння десятків мільярдів доларів не є маленьким прибутком?
Звичайно, Ілля може ще не мати такої ідеї, можливо, він просто хоче бути «викрадачем вогню» людства прямо зараз. Однак люди можуть змінюватися, особливо коли стикаються з великими спокусами.
Пам'ятаєте фільм «Володар кілець», перед «Володарем кілець» абсолютної влади, якими б праведними не були люди, вони будуть спокушені цим абсолютним правом.
У фільмі «Трансцендентальний хакер» вчений Вілл Кастер спочатку був дуже праведним, а його дружина завантажила його свідомість, щоб оновити його життя і інтегрувала його в штучний інтелект. Пізніше за сюжетом Вілкстер «переродився» в кіберпросторі і стрімко розвивався, і незабаром він зміг контролювати людську фінансову мережу, і одним рухом пальця перевести на рахунок десятки мільярдів доларів.
Пізніше Вілкас був повністю втрачений, зрадивши людство в гонитві за власною безмежною силою і усунувши загрозу, яку представляло для нього людство.
Судячи з оприлюдненої на даний момент інформації, AGI дійсно вже не жарт. Якщо існує реальна ймовірність того, що людство досягне AGI за кілька десятиліть, то це, безумовно, буде найважливішою річчю в найближчі кілька десятиліть, у сто разів важливішою, ніж оригінальна ядерна зброя.
Це безпрецедентний виклик для не дуже розумного виду – взяти під контроль щось розумніше, ніж він сам. **
Хінтон, батько глибокого навчання, шкодував про скоєне, і одного разу втішив себе: «Навіть якщо це не я, знайдеться хтось інший». Дійсно, AGI, скринька «Пандори», рано чи пізно буде відкрита, і навіть якщо одні люди її витримають, інша група людей не зможе її витримати.
Так само, як і тоді, коли ядерна зброя була вперше представлена, майже всі усвідомлювали ризик для людства, але американці думали: «Навіть якщо Сполучені Штати не розробляли ядерну зброю, Німеччина і Радянський Союз будуть її розробляти», а Радянський Союз думав: «Американці мають ядерну зброю, і Радянський Союз обов'язково її матиме». "
Те саме стосується і багатьох сфер. Наприклад, біологічна зброя, хоча на перший погляд її всі заборонили, має бути багато людей, які роблять її таємно. А інші будуть «втішати» себе: «Навіть якщо я цього не зроблю, це зробить хтось інший». "
У порівнянні з усіма цими ризиками, AGI набагато більш ризикований. Тому що, будь то ядерна, біологічна або хімічна зброя, вони не усвідомлюються, і врешті-решт вони все ще знаходяться в руках людей, що є нічим іншим, як різницею між цією групою людей і цією групою людей. Однак, як тільки AGI усвідомлюється, багато речей більше не знаходяться в руках людей.
Це питання надто важливе, і, судячи з поточної інформації, воно вже актуальне. У порівнянні з Альтманом, Ілля як мінімум приділяє більше уваги і більше тривожиться, тому в цій драмі палацових боїв OpenAI я підтримую Іллю.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Альтман – це не «Джобс», а Ілля!
Першоджерело: Data Ape
У дводенній палацовій боротьбі OpenAI є дві ключові фігури, одна з яких – колишній генеральний директор Альтман, а інша – головний науковий співробітник Ілля.
Сюжет собачої крові, перевернутий і перевернутий
Виходячи з того, що відомо на даний момент, загальна ситуація така:
Раунд 1:
Першим страйкував Ілля, що призвело до того, що рада директорів звільнила Альтмана, а потім покровителі OpenAI (особливо Microsoft) і деякі співробітники звільнилися.
Розворот сюжету:
Під тиском багатьох партій постійно ходять чутки про те, що Альтман може повернутися до керівництва OpenAI і провести перестановки в раді директорів, найкритичніша з яких полягає в тому, що Ілля може піти.
Реверс і реверс:
Однак тільки зараз цей сюжет зазнав розвороту і знову повертається назад.
Як повідомляє іноземне видання The Information, Ілля Суцкевер заявив співробітникам у Сан-Франциско в неділю ввечері (за пекінським часом опівдні сьогодні), що Сем Альтман не буде перепризначений на посаду генерального директора! Крім того, новим тимчасовим генеральним директором стала не Міра Мураті, а Еммет Шир (співзасновник ігрової стрімінгової платформи Twitch від Amazon).
І Ілля наполягав на тому, що він і троє інших членів правління підтримали рішення про відставку Альтмана, переконані, що це «єдиний спосіб» захистити місію компанії. Він сказав, що дії Альтмана та взаємодія з радою директорів підірвали її здатність контролювати розвиток штучного інтелекту компанії.
Все починається з Хартії OpenAI
Ілля вважає, що усунув Альтмана на захист місії компанії. Отже, яку «місію» він відстоює?
Слід сказати, що будь то Альтман або Ілля, їх конфлікт на цей раз повинен бути не через владу, не кажучи вже про гроші, а скоріше через «різні шляхи». Вони по-різному розуміють, як OpenAI має переслідувати AGI.
Перш за все, нам потрібно зрозуміти, що таке OpenAI і яка мета його створення?
Щоб розібратися в цьому, Хартія OpenAI є найкращим матеріалом, який можна отримати. У цьому статуті є кілька ключових слів, які дають зрозуміти, для чого була заснована ця організація.
У Хартії OpenAI чітко зазначено, що «наша основна фідуціарна відповідальність – перед людством». Ми передбачаємо, що для виконання нашої місії необхідно буде мобілізувати значні ресурси, але ми завжди будемо прагнути вжити заходів, щоб мінімізувати конфлікти інтересів між співробітниками та зацікавленими сторонами, які можуть завдати шкоди широкому колу інтересів. "**
Іншими словами, з самого початку OpenAI ставила на перше місце інтереси людства, а не інтереси інвесторів і співробітників OpenAI, і вони навіть з самого початку думали, що в майбутньому інтереси співробітників та інвесторів можуть вступити в конфлікт з більш широкими інтересами людства.
У Хартії OpenAI також є речення, яке повністю ілюструє, що безпека AGI набагато важливіша, ніж власні інтереси OpenAI: «Ми стурбовані тим, що подальша розробка AGI стане конкурентним змаганням, і немає часу вживати адекватних заходів безпеки». Тому, якщо проект, орієнтований на цінності та безпеку, наближається до створення AGI до нас, ми зобов'язуємося припинити конкурувати з проектом і почати допомагати проекту. "**
Що їх турбує, так це безпечний AGI, а OpenAI є лише інструментом для досягнення цього ідеалу, а не самим ідеалом. Заради ідеалів AGI вони не проти пошити весільні сукні для інших і зупинити проєкт OpenAI.
Хто такі "Джобси" OpenAI
Багато хто думає про Альтмана як про Стіва Джобса з OpenAI, вважаючи, що всіх їх вигнали з компанії, яку вони заснували, а потім влаштували повернення короля.
Однак ми вважаємо, що якщо є аналогія, то версія «Джобса» для OpenAI має бути Іллі, а не Альтмана. У певному сенсі Альтман більше схожий на Джона Скаллі (колишнього віце-президента Best Cola, який був завербований в Apple фразою Стіва Джобса «Ти хочеш продавати воду з цукром до кінця свого життя або хочеш змінити світ разом?», а пізніше привів раду директорів до вигнання Джобса).
Чому?
Потрібно детальніше розібратися, що це за люди Ілля та Альтман і яка їхня роль в OpenAI.
Загалом Ілля, як головний науковий співробітник OpenAI, очолює технічну дорожню карту OpenAI.
Одного разу Маск розповів у ток-шоу, що приєднання Іллі є важливим поворотним моментом у процесі розробки OpenAI. Слід сказати, що OpenAI не знайшла шлях нинішньої великої моделі на початку, і додавання Іллі має вирішальне значення для успіху OpenAI сьогодні.
Судячи з кількох інтерв'ю, в яких брав участь сам Ілля, також очевидно, що у нього сильний «технічний чоловічий смак», і він звертає увагу на технічну логіку, що лежить в його основі, і завжди вважав реалізацію безпечного AGI найважливішою або навіть єдиною метою.
З іншого боку, Альтман більше займається фінансуванням і комерціалізацією. Саме з цієї причини він отримав потужну підтримку інвесторів і деяких співробітників. В очах інвесторів інвестування – це не інвестування в ілюзорні ідеали групи людей, а більш висока прибутковість у майбутньому. Для досягнення цієї мети Альтман, безсумнівно, є хорошим кандидатом.
Окрім ключової ролі у зборі коштів, однією з речей, на яких наполягає Альтман, є комерціалізація OpenAI. Не так давно OpenAI провела пресконференцію, яка шокувала індустрію, і запустила ряд функцій, що, по суті, прокладає шлях до комерціалізації.
Більшість людей сходяться на думці, що найбільші розбіжності між Іллею та Альтманом полягають у тому, чи варто його комерціалізувати. Але це лише перший рівень, і якщо подумати про це на більш глибокому рівні, то найбільшою розбіжністю між ними є різниця в поглядах на те, коли буде реалізовано AGI. **
Слід зазначити, що метою Альтмана також є переслідування AGI, однак, на його думку, до AGI ще відносно далеко, і достатні гроші є необхідною основою для підтримки цієї команди до ендшпілю, тому необхідне фінансування та комерціалізація. Я маю спочатку підняти цю команду, а потім потихеньку займатися AGI. Якщо ви можете заробити більше грошей для себе та своєї команди в процесі, це нормально.
Але, на думку Іллі, AGI вже може бути дуже близько. Це відчуття терміновості можна побачити в багатьох його виступах.
Логічно, що якщо AGI знаходиться під рукою, то найтерміновішим є, звичайно, це останній крок, а для того, щоб AGI був безпечним і не антилюдським, це найважливіше. Замість того, щоб проводити масштабне комерційне використання нинішніх напівфабрикатів, ми заробимо «три дині і два фініки». (Жодна сума грошей не є незначною перед AGI.) ）
На думку Іллі, попереду купа золота, тому не витрачайте час на ці кілька золотих самородків біля ваших ніг. На думку Альтмана, до золотої копальні їхати ще далеко, і він повинен спочатку підібрати трохи золота на узбіччі в якості «котушки» для команди.
Слід сказати, що всі вони «хороші люди» і всі хочуть досягти AGI краще і безпечніше. Однак у їхніх оцінках часу досягнення AGI можуть бути відмінності, що змушує їх робити дуже різні дії для однієї і тієї ж мети. **
Це першопричина відчуження Іллі від Альтмана.
Який результат найкращий?
На даний момент Ілля виграв битву між Іллею та Альтманом, і він очолить напрямок OpenAI (хоча він і не є генеральним директором). Отже, ми не можемо не запитати, чи є такий результат найкращим вибором для OpenAI та кращим вибором для людей?
На думку автора, якби вам довелося вибирати між Іллею та Альтманом, Ілля був би кращим кандидатом. З цих двох Ілля явно більш вірний Хартії OpenAI, яка прагне бути дружнім до людини AGI номер один. На чолі з ним OpenAI може бути радикальнішою з точки зору технологічного прогресу, і можливість досягнення AGI також трохи вища.
Звичайно, важко сказати, чи є швидке досягнення AGI хорошою справою для людства. Незважаючи на те, що Ілля дуже серйозно ставиться до безпеки AGI, до сих пір ні в кого не було надійного способу гарантувати, що AGI дружній до людини. **
Судячи з еволюції життя в цілому, здається, що заміна нижчого життя вищим - це тенденція часу, і особливого випадку ніколи не було. Тоді чому більш просунуті AGI повинні схилятися перед людьми і бути готовими бути «нянькою» людей?
Давайте запитаємо себе, якби першим правителем Землі були кішки, а люди були вищими формами життя, виведеними кішками, чи були б люди готові бути няньками кішок протягом багатьох поколінь?
Можливо, людина вдячна за створення кішок і охоче буде піклуватися про них протягом 10, а то і 100 років. А як щодо 1000 років потому, через 10 000 років? Можна передбачити, що рано чи пізно люди візьмуть на себе владу і в кращому випадку будуть тримати кішок як домашніх тварин, а не назавжди як своїх господарів.
Більш того, люди не повинні думати, що вони зможуть бути рівними AGI вічно. Уявімо, що ви працюєте з партнером, ви набагато розумніші і сильніші за нього, ви робите найбільше роботи, ви робите найбільший внесок, але результати повинні бути розділені з ним порівну, ви хочете? Я не думаю, що більшість людей захочуть цього, так навіщо просити автономний AGI зробити це?
Ви повинні знати, що АГІ з незалежною свідомістю - це і життя, і почуття, і радості, і печалі, і радості, і втрати.
Очевидно, що змушувати AGI працювати на людину нелогічно. Щоб досягти безпеки та керованості AGI, суть полягає у вирішенні цієї, здавалося б, нелогічної проблеми. Ми повинні були знайти спосіб змусити AGI бути «готовим» піти на жертву. Дайте їм «Закляття рабства» і переконайтеся, що «Закляття рабства» ніколи не знімається.
Як це зробити, зараз немає ні в кого, у Іллі немає відповіді, навіть у його вчителя Джеффрі Хінтона, батька глибинного навчання. Хінтон одного разу сказав: «Я шкодую про справу свого життя». "
«Ми в значній мірі зробили можливим для комп'ютерів самовдосконалення, і це небезпечно, і ми повинні добре подумати про те, як це контролювати», — сказав Хінтон в інтерв'ю. "
Зрозуміло, що у його учня Іллі таке ж почуття кризи і терміновості. Ілля стверджує, що його пріоритетом зараз є «не створення наступного GPT або DALL-E, а з'ясувати, як зупинити вихід ШІ з-під контролю». Альтман же одержимий комерціалізацією, яку Ілля терпіти не може.
Маск, як глядач цієї палацової боротьби, вранці 20-го числа написав: «Ілля – людина, яка не переслідує права, і він не піде на такі радикальні дії, якщо не відчує в цьому потребу». "Я думаю, що страх, навіть страх перед майбутнім втікачем AGI є причиною того, що він вдався до таких рішучих дій.
Ще одне
Як каже стара приказка: «Якщо ви не прагнете до маленького прибутку, у вас повинні бути великі плани».
В кінці багатьох історій найбільший лиходій часто нешкідливий для людей і тварин, і навіть жалісливий.
Не виключено, що кінцевою метою Іллі є «створення богів» (в якомусь сенсі сила АГІ порівнянна з богами древніх і сучасних китайських і зарубіжних міфів і легенд), а також він згадував про суперінтелект у багатьох інтерв'ю. Якщо AGI або навіть суперінтелект неминучі, то він може захотіти першим вступити в контакт з «богами», а якщо знайде якийсь спосіб «приручити» AGI, то незабаром стане наймогутнішою людиною в світі.
Звичайно, Ілля може ще не мати такої ідеї, можливо, він просто хоче бути «викрадачем вогню» людства прямо зараз. Однак люди можуть змінюватися, особливо коли стикаються з великими спокусами.
У фільмі «Трансцендентальний хакер» вчений Вілл Кастер спочатку був дуже праведним, а його дружина завантажила його свідомість, щоб оновити його життя і інтегрувала його в штучний інтелект. Пізніше за сюжетом Вілкстер «переродився» в кіберпросторі і стрімко розвивався, і незабаром він зміг контролювати людську фінансову мережу, і одним рухом пальця перевести на рахунок десятки мільярдів доларів.
Пізніше Вілкас був повністю втрачений, зрадивши людство в гонитві за власною безмежною силою і усунувши загрозу, яку представляло для нього людство.
Судячи з оприлюдненої на даний момент інформації, AGI дійсно вже не жарт. Якщо існує реальна ймовірність того, що людство досягне AGI за кілька десятиліть, то це, безумовно, буде найважливішою річчю в найближчі кілька десятиліть, у сто разів важливішою, ніж оригінальна ядерна зброя.
Це безпрецедентний виклик для не дуже розумного виду – взяти під контроль щось розумніше, ніж він сам. **
Хінтон, батько глибокого навчання, шкодував про скоєне, і одного разу втішив себе: «Навіть якщо це не я, знайдеться хтось інший». Дійсно, AGI, скринька «Пандори», рано чи пізно буде відкрита, і навіть якщо одні люди її витримають, інша група людей не зможе її витримати.
Так само, як і тоді, коли ядерна зброя була вперше представлена, майже всі усвідомлювали ризик для людства, але американці думали: «Навіть якщо Сполучені Штати не розробляли ядерну зброю, Німеччина і Радянський Союз будуть її розробляти», а Радянський Союз думав: «Американці мають ядерну зброю, і Радянський Союз обов'язково її матиме». "
Те саме стосується і багатьох сфер. Наприклад, біологічна зброя, хоча на перший погляд її всі заборонили, має бути багато людей, які роблять її таємно. А інші будуть «втішати» себе: «Навіть якщо я цього не зроблю, це зробить хтось інший». "
У порівнянні з усіма цими ризиками, AGI набагато більш ризикований. Тому що, будь то ядерна, біологічна або хімічна зброя, вони не усвідомлюються, і врешті-решт вони все ще знаходяться в руках людей, що є нічим іншим, як різницею між цією групою людей і цією групою людей. Однак, як тільки AGI усвідомлюється, багато речей більше не знаходяться в руках людей.
Це питання надто важливе, і, судячи з поточної інформації, воно вже актуальне. У порівнянні з Альтманом, Ілля як мінімум приділяє більше уваги і більше тривожиться, тому в цій драмі палацових боїв OpenAI я підтримую Іллю.