В двухдневной дворцовой битве OpenAI есть две ключевые фигуры, одна из которых — бывший генеральный директор Альтман, а другая — главный научный сотрудник Илья.
Сюжет собачьей крови, перевернутый и перевернутый
Исходя из того, что известно на данный момент, общая ситуация выглядит следующим образом:
Раунд 1:
Илья был первым, кто объявил забастовку, что привело к тому, что совет директоров уволил Альтмана, а затем покровители OpenAI (особенно Microsoft) и некоторые сотрудники уволились.
Разворот сюжета:
Под давлением многих партий постоянно ходят слухи о том, что Альтман может вернуться в руководство OpenAI и перетасовать совет директоров, самый критичный из которых заключается в том, что Илья может уйти.
Задний и задний ход:
Однако только сейчас этот сюжет претерпел разворот и снова перевернулся.
По данным зарубежного издания The Information, Илья Суцкевер сообщил сотрудникам в Сан-Франциско в воскресенье вечером (сегодня в полдень по пекинскому времени), что Сэм Альтман не будет переназначен на пост генерального директора! Кроме того, новым временным генеральным директором стала не Мира Мурати, а Эмметт Шир (соучредитель игровой стриминговой платформы Amazon Twitch).
Кроме того, Илья настаивал на том, что он и трое других членов совета директоров поддержали решение об отстранении Альтмана, будучи убежденными, что это «единственный способ» защитить миссию компании. Он сказал, что действия Альтмана и взаимодействие совета директоров подорвали его способность контролировать развитие искусственного интеллекта в компании.
Все начинается с Устава OpenAI
Илья считает, что снял Альтмана в защиту миссии компании. Итак, что же это за «миссия», которую он защищает?
Надо сказать, что будь то Альтман или Илья, их конфликт на этот раз должен быть не из-за власти, а тем более из-за денег, а скорее из-за «разных путей». У них разное понимание того, как OpenAI должна развивать AGI.
Чтобы понять противоречия между ними, нужно знать Илью, Альтмана и OpenAI.
Прежде всего, нужно понять, что такое OpenAI и какова цель его создания?
Чтобы разобраться в этом, Устав OpenAI — лучший материал, который можно найти. В этом уставе есть несколько ключевых слов, которые дают понять, почему была создана эта организация.
В Уставе OpenAI четко прописано, что «наша основная фидуциарная ответственность — перед человечеством». Мы ожидаем, что для выполнения нашей миссии потребуется мобилизовать значительные ресурсы, но мы всегда будем стремиться принимать меры для минимизации конфликтов интересов между сотрудниками и заинтересованными сторонами, которые могут нанести ущерб широкому кругу интересов. "**
Иными словами, OpenAI с самого начала ставила на первое место интересы человечества, а не интересы инвесторов и сотрудников OpenAI, и они даже изначально думали, что в будущем интересы сотрудников и инвесторов могут вступить в противоречие с более широкими интересами человечества.
В Уставе OpenAI также есть предложение, которое полностью иллюстрирует, что безопасность AGI гораздо важнее, чем собственные интересы OpenAI: «Мы обеспокоены тем, что в дальнейшем разработка AGI превратится в конкурентную конкуренцию, и нет времени принимать адекватные меры предосторожности». Поэтому, если ценностно-ориентированный проект, ориентированный на безопасность, приближается к созданию AGI, мы обязуемся прекратить конкурировать с проектом и начать помогать проекту. "**
То, о чем они заботятся, — это безопасный AGI, а OpenAI — это всего лишь инструмент для достижения этого идеала, а не сам идеал. Ради идеалов AGI они не против шить свадебные платья для других и останавливают проект OpenAI.
Кто такая «Вакансия» OpenAI
Многие люди думают об Альтмене как о Стиве Джобсе из OpenAI, полагая, что их всех выгнали из компании, которую они основали, а затем устроили возвращение короля.
Однако мы считаем, что если есть аналогия, то OpenAI-версия «Джобса» должна принадлежать Илье, а не Альтману. В каком-то смысле Олтмен больше похож на Джона Скалли (бывшего вице-президента Best Cola, которого завербовала в Apple фраза Стива Джобса «Ты хочешь продавать сахарную воду до конца своей жизни или ты хочешь изменить мир вместе?», а позже возглавил совет директоров, чтобы выгнать Джобса).
Почему?
Нужно присмотреться к тому, что за люди Илья и Альтман и какова их роль в OpenAI.
В целом, Илья, как главный научный сотрудник OpenAI, руководит технической дорожной картой OpenAI.
Маск однажды рассказал в ток-шоу, что добавление Ильи является важным поворотным моментом в процессе разработки OpenAI. Надо сказать, что OpenAI не нашла путь нынешней большой модели в самом начале, и добавление Ильи имеет решающее значение для успеха OpenAI сегодня.
Судя по нескольким интервью, в которых принимал участие сам Илья, также очевидно, что у него сильный «технический мужской вкус», и он обращает внимание на лежащую в его основе техническую логику, и всегда считал реализацию безопасного AGI самой важной или даже единственной целью.
Альтман, с другой стороны, больше занимается финансированием и коммерциализацией. Именно по этой причине он получил сильную поддержку со стороны инвесторов и некоторых сотрудников. В глазах инвесторов инвестирование — это не вложение средств в иллюзорные идеалы группы людей, а более высокая доходность в будущем. Для достижения этой цели Альтман, несомненно, является хорошим кандидатом.
Помимо того, что Альтман играет ключевую роль в сборе средств, одной из вещей, на которых настаивает Альтман, является коммерциализация OpenAI. Не так давно OpenAI провела пресс-конференцию, которая потрясла индустрию, и запустила ряд функций, что, по сути, прокладывает путь к коммерциализации.
Большинство людей сходятся во мнении, что самые большие разногласия между Ильей и Альтманом заключаются в том, стоит ли его коммерциализировать. Но это только первый слой, и если подумать об этом на более глубоком уровне, то самое большое разногласие между ними на самом деле заключается в разнице во взглядах на то, когда будет реализован AGI. **
Следует отметить, что целью Альтмана также является преследование AGI, однако, по его мнению, до AGI еще относительно далеко, и достаточное количество денег является необходимым фундаментом для поддержки этой команды до конца игры, поэтому необходимо финансирование и коммерциализация. Я должен сначала поднять эту команду, а затем потихоньку заниматься AGI. Если вы можете заработать больше денег для себя и своей команды в процессе, это нормально.
Но, по мнению Ильи, ОИИ, возможно, уже совсем близко. Это чувство безотлагательности можно увидеть во многих его выступлениях.
По логике, если ОИИ находится под рукой, то самое срочное, конечно, это последний шаг, и для того, чтобы ОИИ был безопасным и не античеловеческим, это самое важное. Вместо того, чтобы осуществлять широкомасштабное коммерческое использование нынешних полуфабрикатов, мы заработаем «три дыни и два финика». (Никакая сумма денег не является незначительной перед AGI.) ）
По мнению Ильи, впереди груда золота, так что не теряйте времени на эти несколько золотых самородков у ваших ног. По мнению Альтмана, до золотого прииска еще далеко, и ему следует сначала подобрать немного золота на обочине дороги в качестве «катушки» для команды.
Следует сказать, что все они «хорошие люди» и все хотят достичь AGI лучше и безопаснее. Однако в их оценках времени достижения ОИИ могут быть различия, что приводит к тому, что они предпринимают совершенно разные действия для достижения одной и той же цели. **
В этом и кроется первопричина отчуждения Ильи от Альтмана.
Каков наилучший результат?
На данный момент Илья выиграл битву между Ильей и Альтманом, и он возглавит направление OpenAI (хотя и не является генеральным директором). Итак, мы не можем не задаться вопросом, является ли такой результат лучшим выбором для OpenAI и лучшим выбором для людей?
По мнению автора, если бы нужно было выбирать между Ильей и Альтманом, Илья был бы лучшим кандидатом. Из этих двоих Илья явно более верен Хартии OpenAI, которая направлена на то, чтобы быть дружественным к человеку AGI номер один. Под его руководством OpenAI может быть более радикальным с точки зрения технологического прогресса, и вероятность достижения AGI также немного выше.
Конечно, трудно сказать, хорошо ли для человечества более быстрое достижение ОИИ. Несмотря на то, что Илья очень серьезно относится к безопасности ОИИ, до сих пор ни у кого не было надежного способа гарантировать, что ОИИ безопасен для человека. **
Судя по эволюции жизни в целом, кажется, что замена низшей жизни высшей жизнью является тенденцией времени, и никогда не было особого случая. Тогда почему более продвинутый ОИИ должен преклоняться перед людьми и быть готовыми быть «нянькой» человеческих существ?
Давайте спросим себя, если бы первым правителем Земли были кошки, а люди были бы высшими формами жизни, выведенными кошками, захотели бы люди быть кошачьими няньками на протяжении поколений?
Возможно, люди благодарны за создание кошек и будут охотно заботиться о них в течение 10 или даже 100 лет. А как насчет того, что будет через 1000 лет, через 10 000 лет? Можно предвидеть, что рано или поздно люди возьмут власть в свои руки и, в лучшем случае, будут держать кошек в качестве домашних питомцев, а не навсегда в качестве их хозяев.
Более того, люди не должны думать, что они смогут вечно быть равными ОИИ. Давайте представим, что вы работаете с партнером, вы намного умнее и сильнее его, вы делаете больше работы, вы вносите наибольший вклад, но результатами приходится делиться поровну с ним, вы хотите? Я не думаю, что большинство людей захотят этого, так зачем просить автономный ОИИ сделать это?
Вы должны знать, что ОИИ с независимым сознанием – это также жизнь, чувства, радости, печали, радости и потери.
Очевидно, что нелогично заставлять AGI работать на людей. Для достижения безопасности и управляемости AGI необходимо решить эту, казалось бы, нелогичную проблему. Мы должны были найти способ заставить AGI быть «готовым» принести жертву. Дайте им «Заклинание рабства» и убедитесь, что «Заклинание рабства» никогда не снимается.
Как это сделать, ни у кого сейчас нет ответа, у Ильи нет ответа, даже у его учителя Джеффри Хинтона, отца глубокого обучения. Хинтон однажды сказал: «Я сожалею о деле своей жизни». "
«Мы в значительной степени сделали возможным самосовершенствование компьютеров, и это опасно, и мы должны серьезно подумать о том, как это контролировать», — сказал Хинтон в интервью. "
Понятно, что у его ученика Ильи такое же чувство кризиса и безотлагательности. Илья утверждает, что его приоритетом сейчас является «не создание следующего GPT или DALL-E, а придумывание, как не дать ИИ выйти из-под контроля». Альтман же одержим коммерциализацией, которую Илья терпеть не может.
Маск, как зритель этого дворцового боя, утром 20-го написал: «Илья — человек, который не стремится к правам, и он не пойдет на такие решительные действия, если не почувствует в этом необходимости». «Я думаю, что страх, даже страх перед надвигающимся беглым ОИИ является причиной, по которой он предпринял такие решительные действия.
И ещё
Как гласит старая поговорка: «Если вы не стремитесь к маленькой прибыли, у вас должны быть большие планы».
В конце многих историй главный злодей часто безвреден для людей и животных и даже сострадателен.
Не исключено, что конечной целью Ильи является «создание богов» (в каком-то смысле сила AGI сравнима с богами древних и современных китайских и зарубежных мифов и легенд), а также он неоднократно упоминал о сверхразуме. Если ОИИ или даже сверхразум неизбежен, то он может захотеть первым вступить в контакт с «богами», и если он найдет какой-то способ «приручить» ОИИ, то вскоре станет самым могущественным человеком в мире.
По сравнению с такими амбициями, разве получение десятков миллиардов долларов не является небольшой прибылью?
Конечно, у Ильи может еще не быть такой идеи, возможно, он просто хочет быть «похитителем огня» человечества прямо сейчас. Однако люди могут меняться, особенно когда сталкиваются с большими искушениями.
Вспомните фильм "Властелин колец", перед "Властелином колец" абсолютной власти, какими бы праведными не были люди, они соблазнятся этим абсолютным правом.
В фильме «Трансцендентальный хакер» ученый Уилл Кастер был очень праведным в начале, а его жена загрузила его сознание, чтобы обновить его жизнь и интегрировать его в искусственный интеллект. Позже Уилкстер «переродился» в киберпространстве и быстро эволюционировал, и вскоре он мог контролировать человеческую финансовую сеть, и одним движением пальца он мог переводить десятки миллиардов долларов на счет.
Позже Уилкас был полностью потерян, предав человечество в погоне за собственной бесконечной силой и устранив угрозу, исходящую от него.
Судя по информации, обнародованной на данный момент, AGI действительно уже не шутка. Если существует реальная вероятность того, что человечество достигнет AGI через несколько десятилетий, то это определенно будет самое важное в ближайшие несколько десятилетий, в сто раз более важное, чем первоначальное ядерное оружие.
Это беспрецедентный вызов для не очень разумного вида — взять под контроль что-то более умное, чем он сам. **
Хинтон, отец глубокого обучения, сожалел о том, что сделал, и однажды утешил себя: «Даже если это не я, будет кто-то другой». Действительно, ОИИ, ящик «Пандоры», рано или поздно откроется, и даже если кто-то выдержит это, другая группа людей не сможет этого вынести.
Точно так же, как и в то время, когда ядерное оружие было впервые представлено, почти каждый мог осознать опасность для человечества, но американцы думали: «Даже если Соединенные Штаты не создадут ядерное оружие, Германия и Советы его разработают», а Советы думали: «У американцев есть ядерное оружие, и оно обязательно будет у Советского Союза». "
То же самое верно и во многих областях. Например, биологическое оружие, несмотря на то, что все запретили его на поверхности, должно быть много людей, которые делают его тайно. А другие будут «утешать» себя: «Даже если я не сделаю этого, это сделает кто-то другой». "
По сравнению со всеми этими рисками, AGI гораздо более рискованный. Потому что, будь то ядерное, биологическое или химическое оружие, оно не обладает сознанием, и, в конце концов, оно все еще находится в руках людей, что является не чем иным, как разницей между этой группой людей и той группой людей. Однако, как только ОИИ будет реализован, многие вещи больше не находятся в руках людей.
Вопрос этот слишком важный, и, судя по имеющейся информации, он уже актуален. По сравнению с Альтманом, Илья, по крайней мере, больше внимания и больше волнуется, поэтому в этой дворцовой драмы OpenAI я стою на стороне Ильи.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Альтман не "Джобс", Илья есть!
Первоисточник: Data Ape
В двухдневной дворцовой битве OpenAI есть две ключевые фигуры, одна из которых — бывший генеральный директор Альтман, а другая — главный научный сотрудник Илья.
Сюжет собачьей крови, перевернутый и перевернутый
Исходя из того, что известно на данный момент, общая ситуация выглядит следующим образом:
Раунд 1:
Илья был первым, кто объявил забастовку, что привело к тому, что совет директоров уволил Альтмана, а затем покровители OpenAI (особенно Microsoft) и некоторые сотрудники уволились.
Разворот сюжета:
Под давлением многих партий постоянно ходят слухи о том, что Альтман может вернуться в руководство OpenAI и перетасовать совет директоров, самый критичный из которых заключается в том, что Илья может уйти.
Задний и задний ход:
Однако только сейчас этот сюжет претерпел разворот и снова перевернулся.
По данным зарубежного издания The Information, Илья Суцкевер сообщил сотрудникам в Сан-Франциско в воскресенье вечером (сегодня в полдень по пекинскому времени), что Сэм Альтман не будет переназначен на пост генерального директора! Кроме того, новым временным генеральным директором стала не Мира Мурати, а Эмметт Шир (соучредитель игровой стриминговой платформы Amazon Twitch).
Кроме того, Илья настаивал на том, что он и трое других членов совета директоров поддержали решение об отстранении Альтмана, будучи убежденными, что это «единственный способ» защитить миссию компании. Он сказал, что действия Альтмана и взаимодействие совета директоров подорвали его способность контролировать развитие искусственного интеллекта в компании.
Все начинается с Устава OpenAI
Илья считает, что снял Альтмана в защиту миссии компании. Итак, что же это за «миссия», которую он защищает?
Надо сказать, что будь то Альтман или Илья, их конфликт на этот раз должен быть не из-за власти, а тем более из-за денег, а скорее из-за «разных путей». У них разное понимание того, как OpenAI должна развивать AGI.
Прежде всего, нужно понять, что такое OpenAI и какова цель его создания?
Чтобы разобраться в этом, Устав OpenAI — лучший материал, который можно найти. В этом уставе есть несколько ключевых слов, которые дают понять, почему была создана эта организация.
В Уставе OpenAI четко прописано, что «наша основная фидуциарная ответственность — перед человечеством». Мы ожидаем, что для выполнения нашей миссии потребуется мобилизовать значительные ресурсы, но мы всегда будем стремиться принимать меры для минимизации конфликтов интересов между сотрудниками и заинтересованными сторонами, которые могут нанести ущерб широкому кругу интересов. "**
Иными словами, OpenAI с самого начала ставила на первое место интересы человечества, а не интересы инвесторов и сотрудников OpenAI, и они даже изначально думали, что в будущем интересы сотрудников и инвесторов могут вступить в противоречие с более широкими интересами человечества.
В Уставе OpenAI также есть предложение, которое полностью иллюстрирует, что безопасность AGI гораздо важнее, чем собственные интересы OpenAI: «Мы обеспокоены тем, что в дальнейшем разработка AGI превратится в конкурентную конкуренцию, и нет времени принимать адекватные меры предосторожности». Поэтому, если ценностно-ориентированный проект, ориентированный на безопасность, приближается к созданию AGI, мы обязуемся прекратить конкурировать с проектом и начать помогать проекту. "**
То, о чем они заботятся, — это безопасный AGI, а OpenAI — это всего лишь инструмент для достижения этого идеала, а не сам идеал. Ради идеалов AGI они не против шить свадебные платья для других и останавливают проект OpenAI.
Кто такая «Вакансия» OpenAI
Многие люди думают об Альтмене как о Стиве Джобсе из OpenAI, полагая, что их всех выгнали из компании, которую они основали, а затем устроили возвращение короля.
Однако мы считаем, что если есть аналогия, то OpenAI-версия «Джобса» должна принадлежать Илье, а не Альтману. В каком-то смысле Олтмен больше похож на Джона Скалли (бывшего вице-президента Best Cola, которого завербовала в Apple фраза Стива Джобса «Ты хочешь продавать сахарную воду до конца своей жизни или ты хочешь изменить мир вместе?», а позже возглавил совет директоров, чтобы выгнать Джобса).
Почему?
Нужно присмотреться к тому, что за люди Илья и Альтман и какова их роль в OpenAI.
В целом, Илья, как главный научный сотрудник OpenAI, руководит технической дорожной картой OpenAI.
Маск однажды рассказал в ток-шоу, что добавление Ильи является важным поворотным моментом в процессе разработки OpenAI. Надо сказать, что OpenAI не нашла путь нынешней большой модели в самом начале, и добавление Ильи имеет решающее значение для успеха OpenAI сегодня.
Судя по нескольким интервью, в которых принимал участие сам Илья, также очевидно, что у него сильный «технический мужской вкус», и он обращает внимание на лежащую в его основе техническую логику, и всегда считал реализацию безопасного AGI самой важной или даже единственной целью.
Альтман, с другой стороны, больше занимается финансированием и коммерциализацией. Именно по этой причине он получил сильную поддержку со стороны инвесторов и некоторых сотрудников. В глазах инвесторов инвестирование — это не вложение средств в иллюзорные идеалы группы людей, а более высокая доходность в будущем. Для достижения этой цели Альтман, несомненно, является хорошим кандидатом.
Помимо того, что Альтман играет ключевую роль в сборе средств, одной из вещей, на которых настаивает Альтман, является коммерциализация OpenAI. Не так давно OpenAI провела пресс-конференцию, которая потрясла индустрию, и запустила ряд функций, что, по сути, прокладывает путь к коммерциализации.
Большинство людей сходятся во мнении, что самые большие разногласия между Ильей и Альтманом заключаются в том, стоит ли его коммерциализировать. Но это только первый слой, и если подумать об этом на более глубоком уровне, то самое большое разногласие между ними на самом деле заключается в разнице во взглядах на то, когда будет реализован AGI. **
Следует отметить, что целью Альтмана также является преследование AGI, однако, по его мнению, до AGI еще относительно далеко, и достаточное количество денег является необходимым фундаментом для поддержки этой команды до конца игры, поэтому необходимо финансирование и коммерциализация. Я должен сначала поднять эту команду, а затем потихоньку заниматься AGI. Если вы можете заработать больше денег для себя и своей команды в процессе, это нормально.
Но, по мнению Ильи, ОИИ, возможно, уже совсем близко. Это чувство безотлагательности можно увидеть во многих его выступлениях.
По логике, если ОИИ находится под рукой, то самое срочное, конечно, это последний шаг, и для того, чтобы ОИИ был безопасным и не античеловеческим, это самое важное. Вместо того, чтобы осуществлять широкомасштабное коммерческое использование нынешних полуфабрикатов, мы заработаем «три дыни и два финика». (Никакая сумма денег не является незначительной перед AGI.) ）
По мнению Ильи, впереди груда золота, так что не теряйте времени на эти несколько золотых самородков у ваших ног. По мнению Альтмана, до золотого прииска еще далеко, и ему следует сначала подобрать немного золота на обочине дороги в качестве «катушки» для команды.
Следует сказать, что все они «хорошие люди» и все хотят достичь AGI лучше и безопаснее. Однако в их оценках времени достижения ОИИ могут быть различия, что приводит к тому, что они предпринимают совершенно разные действия для достижения одной и той же цели. **
В этом и кроется первопричина отчуждения Ильи от Альтмана.
Каков наилучший результат?
На данный момент Илья выиграл битву между Ильей и Альтманом, и он возглавит направление OpenAI (хотя и не является генеральным директором). Итак, мы не можем не задаться вопросом, является ли такой результат лучшим выбором для OpenAI и лучшим выбором для людей?
По мнению автора, если бы нужно было выбирать между Ильей и Альтманом, Илья был бы лучшим кандидатом. Из этих двоих Илья явно более верен Хартии OpenAI, которая направлена на то, чтобы быть дружественным к человеку AGI номер один. Под его руководством OpenAI может быть более радикальным с точки зрения технологического прогресса, и вероятность достижения AGI также немного выше.
Конечно, трудно сказать, хорошо ли для человечества более быстрое достижение ОИИ. Несмотря на то, что Илья очень серьезно относится к безопасности ОИИ, до сих пор ни у кого не было надежного способа гарантировать, что ОИИ безопасен для человека. **
Судя по эволюции жизни в целом, кажется, что замена низшей жизни высшей жизнью является тенденцией времени, и никогда не было особого случая. Тогда почему более продвинутый ОИИ должен преклоняться перед людьми и быть готовыми быть «нянькой» человеческих существ?
Давайте спросим себя, если бы первым правителем Земли были кошки, а люди были бы высшими формами жизни, выведенными кошками, захотели бы люди быть кошачьими няньками на протяжении поколений?
Возможно, люди благодарны за создание кошек и будут охотно заботиться о них в течение 10 или даже 100 лет. А как насчет того, что будет через 1000 лет, через 10 000 лет? Можно предвидеть, что рано или поздно люди возьмут власть в свои руки и, в лучшем случае, будут держать кошек в качестве домашних питомцев, а не навсегда в качестве их хозяев.
Более того, люди не должны думать, что они смогут вечно быть равными ОИИ. Давайте представим, что вы работаете с партнером, вы намного умнее и сильнее его, вы делаете больше работы, вы вносите наибольший вклад, но результатами приходится делиться поровну с ним, вы хотите? Я не думаю, что большинство людей захотят этого, так зачем просить автономный ОИИ сделать это?
Вы должны знать, что ОИИ с независимым сознанием – это также жизнь, чувства, радости, печали, радости и потери.
Очевидно, что нелогично заставлять AGI работать на людей. Для достижения безопасности и управляемости AGI необходимо решить эту, казалось бы, нелогичную проблему. Мы должны были найти способ заставить AGI быть «готовым» принести жертву. Дайте им «Заклинание рабства» и убедитесь, что «Заклинание рабства» никогда не снимается.
Как это сделать, ни у кого сейчас нет ответа, у Ильи нет ответа, даже у его учителя Джеффри Хинтона, отца глубокого обучения. Хинтон однажды сказал: «Я сожалею о деле своей жизни». "
«Мы в значительной степени сделали возможным самосовершенствование компьютеров, и это опасно, и мы должны серьезно подумать о том, как это контролировать», — сказал Хинтон в интервью. "
Понятно, что у его ученика Ильи такое же чувство кризиса и безотлагательности. Илья утверждает, что его приоритетом сейчас является «не создание следующего GPT или DALL-E, а придумывание, как не дать ИИ выйти из-под контроля». Альтман же одержим коммерциализацией, которую Илья терпеть не может.
Маск, как зритель этого дворцового боя, утром 20-го написал: «Илья — человек, который не стремится к правам, и он не пойдет на такие решительные действия, если не почувствует в этом необходимости». «Я думаю, что страх, даже страх перед надвигающимся беглым ОИИ является причиной, по которой он предпринял такие решительные действия.
И ещё
Как гласит старая поговорка: «Если вы не стремитесь к маленькой прибыли, у вас должны быть большие планы».
В конце многих историй главный злодей часто безвреден для людей и животных и даже сострадателен.
Не исключено, что конечной целью Ильи является «создание богов» (в каком-то смысле сила AGI сравнима с богами древних и современных китайских и зарубежных мифов и легенд), а также он неоднократно упоминал о сверхразуме. Если ОИИ или даже сверхразум неизбежен, то он может захотеть первым вступить в контакт с «богами», и если он найдет какой-то способ «приручить» ОИИ, то вскоре станет самым могущественным человеком в мире.
Конечно, у Ильи может еще не быть такой идеи, возможно, он просто хочет быть «похитителем огня» человечества прямо сейчас. Однако люди могут меняться, особенно когда сталкиваются с большими искушениями.
В фильме «Трансцендентальный хакер» ученый Уилл Кастер был очень праведным в начале, а его жена загрузила его сознание, чтобы обновить его жизнь и интегрировать его в искусственный интеллект. Позже Уилкстер «переродился» в киберпространстве и быстро эволюционировал, и вскоре он мог контролировать человеческую финансовую сеть, и одним движением пальца он мог переводить десятки миллиардов долларов на счет.
Позже Уилкас был полностью потерян, предав человечество в погоне за собственной бесконечной силой и устранив угрозу, исходящую от него.
Судя по информации, обнародованной на данный момент, AGI действительно уже не шутка. Если существует реальная вероятность того, что человечество достигнет AGI через несколько десятилетий, то это определенно будет самое важное в ближайшие несколько десятилетий, в сто раз более важное, чем первоначальное ядерное оружие.
Это беспрецедентный вызов для не очень разумного вида — взять под контроль что-то более умное, чем он сам. **
Хинтон, отец глубокого обучения, сожалел о том, что сделал, и однажды утешил себя: «Даже если это не я, будет кто-то другой». Действительно, ОИИ, ящик «Пандоры», рано или поздно откроется, и даже если кто-то выдержит это, другая группа людей не сможет этого вынести.
Точно так же, как и в то время, когда ядерное оружие было впервые представлено, почти каждый мог осознать опасность для человечества, но американцы думали: «Даже если Соединенные Штаты не создадут ядерное оружие, Германия и Советы его разработают», а Советы думали: «У американцев есть ядерное оружие, и оно обязательно будет у Советского Союза». "
То же самое верно и во многих областях. Например, биологическое оружие, несмотря на то, что все запретили его на поверхности, должно быть много людей, которые делают его тайно. А другие будут «утешать» себя: «Даже если я не сделаю этого, это сделает кто-то другой». "
По сравнению со всеми этими рисками, AGI гораздо более рискованный. Потому что, будь то ядерное, биологическое или химическое оружие, оно не обладает сознанием, и, в конце концов, оно все еще находится в руках людей, что является не чем иным, как разницей между этой группой людей и той группой людей. Однако, как только ОИИ будет реализован, многие вещи больше не находятся в руках людей.
Вопрос этот слишком важный, и, судя по имеющейся информации, он уже актуален. По сравнению с Альтманом, Илья, по крайней мере, больше внимания и больше волнуется, поэтому в этой дворцовой драмы OpenAI я стою на стороне Ильи.