Шестая годовщина Трансформера: Не удалось получить даже NeurIPS Oral, а 8 авторов основали несколько единорогов ИИ

Кто-то присоединился к OpenAI, кто-то основал стартапы, а кто-то остался с Google AI. Именно они совместно начали сегодняшнюю эру развития ИИ.

От ChatGPT до технологии рисования ИИ, недавняя волна прорывов в области искусственного интеллекта может быть связана с Transformer.

Сегодня исполняется шесть лет со дня представления знаменитой бумаги-трансформера.

Ссылка на бумагу:

Шесть лет назад на платформу препринтов arXiv была загружена статья с преувеличенным названием.Фраза «xx is All You Need» повторялась разработчиками в области ИИ, и даже стала тенденцией в названии статьи. paper., и Трансформер больше не является смыслом Трансформеров, теперь он представляет собой самую передовую технологию в области ИИ.

Шесть лет спустя, оглядываясь на эту статью того же года, мы можем найти много интересных или малоизвестных мест, как резюмировал Джим Фан, специалист по искусственному интеллекту в Nvidia.

## ** "Механизм внимания" не предложен автором Transformer**

Модель Transformer отказывается от традиционных блоков CNN и RNN, а вся сетевая структура полностью состоит из механизмов внимания.

Хотя статья о Трансформере называется «Внимание — это все, что вам нужно», мы продолжаем продвигать механизм внимания из-за него, но, пожалуйста, обратите внимание на интересный факт: не исследователи Трансформера изобрели внимание, а они поставили этот механизм доведен до предела.

Механизм внимания был предложен командой во главе с пионером глубокого обучения Йошуа Бенджио в 2014 году:

* «Нейронный машинный перевод путем совместного обучения выравниванию и переводу», название относительно простое. *

В этой статье ICLR 2015 Бенжио и др. предложили комбинацию RNN + «контекстный вектор» (т.е. внимание). Хотя это одна из величайших вех в НЛП, она гораздо менее известна, чем «Трансформер»: статья команды Бенжио на сегодняшний день была процитирована 29 000 раз, а работа «Трансформера» — 77 000 раз.

Механизм внимания искусственного интеллекта естественным образом моделируется человеческим визуальным вниманием. В человеческом мозгу есть врожденная способность: когда мы смотрим на картинку, мы сначала быстро сканируем картинку, а затем фиксируем целевую область, на которой нужно сосредоточиться.

Если вы не отпустите какую-либо локальную информацию, вы неизбежно сделаете много бесполезной работы, которая не способствует выживанию. Точно так же внедрение подобных механизмов в сетях глубокого обучения может упростить модели и ускорить вычисления. По сути, Внимание состоит в том, чтобы отфильтровать небольшое количество важной информации из большого количества информации и сосредоточиться на этой важной информации, игнорируя большую часть неважной информации.

В последние годы механизм внимания широко используется в различных областях глубокого обучения, например, в компьютерном зрении для захвата рецептивных полей на изображениях или в НЛП для обнаружения ключевых токенов или признаков. Большое количество экспериментов доказало, что модель с механизмом внимания значительно улучшила производительность в таких задачах, как классификация изображений, сегментация, отслеживание, улучшение и распознавание естественного языка, понимание, ответы на вопросы и перевод.

Модель Transformer, в которой представлен механизм внимания, можно рассматривать как компьютер последовательностей общего назначения. Механизм внимания позволяет модели назначать различные веса внимания в соответствии с корреляцией различных позиций в последовательности при обработке входной последовательности. Это позволяет Transformer захватить удаленные зависимости и контекстную информацию, тем самым улучшив эффект обработки последовательности.

Но в том году ни в «Трансформере», ни в оригинальной статье «Внимание» не говорилось об универсальном последовательном компьютере. Вместо этого авторы видят в нем механизм решения узкой и специфической задачи — машинного перевода. Поэтому, когда мы проследим происхождение AGI в будущем, мы сможем проследить его до «незаметного» Google Translate.

Несмотря на то, что он был принят NeurIPS 2017, он даже не получил Oral

Хотя статья Transformer сейчас очень влиятельна, она даже не получила устного выступления, не говоря уже о награде, на крупнейшей в мире конференции по искусственному интеллекту NeurIPS 2017. В этом году на конференцию было подано в общей сложности 3240 докладов, из которых 678 были выбраны в качестве докладов конференции. Среди принятых докладов был доклад Transformer. Среди этих докладов 40 были устными докладами, 112 — докладами Spotlight и 3 — лучшими. Документы, награда «Испытание временем», «Трансформер» пропустил награду.

Несмотря на то, что он не получил бумажную награду NeurIPS 2017, влияние Transformer очевидно для всех.

Джим Фан прокомментировал: Судьи не виноваты в том, что людям трудно осознать важность влиятельного исследования до того, как оно станет влиятельным. Однако есть и статьи, которым посчастливилось быть обнаруженными в первую очередь, например, ResNet, предложенная Хэ Каймином и другими, в том же году стала лучшей статьей CVPR 2016. Это исследование заслуженно и было справедливо признано Саммит ИИ. Но на данный момент в 2017 году очень умные исследователи могут быть не в состоянии предсказать изменения, вызванные LLM сейчас, как и в 1980-х годах, мало кто мог предвидеть цунами, вызванное глубоким обучением с 2012 года.

## Восемь авторов, их жизнь прекрасна

В то время было 8 авторов этой статьи, они были из Google и Университета Торонто, Пять лет спустя большинство авторов статьи покинули первоначальное учреждение.

26 апреля 2022 года была официально учреждена компания под названием «Адепт» с 9 соучредителями, включая Ашиша Васвани и Ники Пармар, двух авторов статьи «Трансформер».

Ашиш Васвани получил докторскую степень в Университете Южной Калифорнии под руководством китайских ученых Дэвида Чанга и Лян Хуанга и в основном исследовал раннее применение современного глубокого обучения в языковом моделировании. В 2016 году он присоединился к Google Brain и возглавил исследование Transformer, покинув Google в 2021 году.

Ники Пармар окончил Университет Южной Калифорнии со степенью магистра и присоединился к Google в 2016 году. За время своей работы она разработала несколько успешных моделей ответов на вопросы и подобия текста для поиска и рекламы в Google. Она руководила ранней работой по расширению модели Transformer для создания изображений, компьютерного зрения и многого другого. В 2021 году она также покинет Google.

После ухода они стали соучредителями Adept и занимали должности главного научного сотрудника (Ашиш Васвани) и главного технического директора (Ники Пармар) соответственно. Видение Adept состоит в том, чтобы создать ИИ, называемый «товарищем по команде искусственного интеллекта», который обучен использованию различных программных инструментов и API.

В марте 2023 года Adept объявила о завершении раунда финансирования серии B на сумму 350 миллионов долларов США. Оценка компании превысила 1 миллиард долларов США, и она была повышена до единорога. Однако к тому времени, когда Adept привлек государственное финансирование, Ники Пармар и Ашиш Васвани покинули Adept, чтобы начать свой собственный новый стартап в области ИИ. Тем не менее, новая компания в настоящее время находится в секрете, и у нас нет доступа к подробной информации о компании.

Другой автор статьи, Ноам Шазир, был одним из самых важных первых сотрудников Google. Он присоединился к Google в конце 2000 года, пока окончательно не ушел в 2021 году, а затем стал генеральным директором начинающей компании под названием «Character.AI».

Помимо Ноама Шазира, основателем Character.AI является Даниэль Де Фрейтас, оба из команды Google LaMDA. Ранее в Google создали LaMDA, языковую модель, поддерживающую диалоговые программы.

В марте этого года Character.AI объявила о завершении финансирования в размере 150 миллионов долларов США при оценке в 1 миллиард долларов США.Это одна из немногих начинающих компаний, которые могут конкурировать с OpenAI, агентство ChatGPT, а также редко растет всего за 16 месяцев для компаний-единорогов. Его приложение, Character.AI, представляет собой чат-бот модели нейронного языка, который может генерировать текстовые ответы, подобные человеческим, и участвовать в контекстных разговорах.

Character.AI был запущен в Apple App Store и Google Play Store 23 мая 2023 года, и за первую неделю его скачали более 1,7 миллиона раз. В мае 2023 года служба добавила платную подписку c.ai+ за 9,99 долларов в месяц, которая, среди прочего, предоставляет пользователям приоритетный доступ к чату, более быстрое время отклика и ранний доступ к новым функциям.

Эйдан Н. Гомес покинул Google еще в 2019 году, затем работал исследователем в FOR.ai, а сейчас является соучредителем и генеральным директором Cohere.

Cohere — стартап в области генеративного искусственного интеллекта, основанный в 2019 году. Его основной бизнес включает предоставление моделей НЛП и помощь компаниям в улучшении взаимодействия человека с компьютером. Тремя основателями являются Иван Чжан, Ник Фросс и Эйдан Гомес, где Гомес и Фросс являются бывшими членами команды Google Brain. В ноябре 2021 года Google Cloud объявила, что будет сотрудничать с Cohere, Google Cloud будет использовать свою мощную инфраструктуру для поддержки платформы Cohere, а Cohere будет использовать TPU Cloud для разработки и развертывания своих продуктов.

Примечательно, что Cohere только что привлекла 270 миллионов долларов в рамках финансирования серии C, что сделало его единорогом на 2,2 миллиарда долларов.

Лукаш Кайзер покинул Google в 2021 году, проработал в Google 7 лет и 9 месяцев, а сейчас является исследователем в OpenAI. Работая научным сотрудником в Google, он участвовал в разработке нейронных моделей SOTA для машинного перевода, синтаксического анализа и других алгоритмических и генеративных задач, а также был соавтором системы TensorFlow, библиотеки Tensor2Tensor.

Якоб Ушкорейт покинул Google в 2021 году и проработал в Google 13 лет, прежде чем присоединиться к Inceptive в качестве соучредителя. Inceptive — фармацевтическая компания, занимающаяся искусственным интеллектом, которая использует глубокое обучение для разработки РНК-препаратов.

Работая в Google, Якоб Ушкорайт помог создать команду по распознаванию языка для Google Assistant и на раннем этапе работал над Google Translate.

Илья Полосухин покинул Google в 2017 году и сейчас является соучредителем и техническим директором NEAR.AI (компания, занимающаяся технологиями, основанными на блокчейне).

Единственный, кто все еще работает в Google, это Лайон Джонс, в этом году он работает в Google 9 лет.

С момента публикации статьи «Внимание — это все, что вам нужно» прошло 6 лет. Некоторые авторы решили уйти, а некоторые решили остаться в Google. В любом случае влияние Transformer продолжается.