OpenAI に参加した人、スタートアップを設立した人、Google AI に固執した人もいます。今日の AI 開発の時代を共同で始めたのは彼らでした。
ChatGPT から AI 描画テクノロジーに至るまで、人工知能分野における最近の進歩の波は、Transformer のおかげかもしれません。
今日は、有名な変圧器論文の提出から 6 周年を迎えます。
論文リンク:
6年前、プレプリント論文プラットフォームarXivに大げさな名前の論文がアップロードされ、AI分野の開発者らの間で「xx is All You Need」というフレーズが繰り返され、タイトルのトレンドにもなった。論文. 、そしてTransformerはもはやトランスフォーマーの意味ではなく、AI分野における最先端の技術を表すようになりました。
6 年後、その年のこの論文を振り返ると、Nvidia の AI 科学者である Jim Fan が要約したように、多くの興味深い場所やあまり知られていない場所を見つけることができます。
Transformer 6 周年: NeurIPS Oral さえ入手できず、8 人の著者が複数の AI ユニコーンを設立
今日は、有名な変圧器論文の提出から 6 周年を迎えます。
6年前、プレプリント論文プラットフォームarXivに大げさな名前の論文がアップロードされ、AI分野の開発者らの間で「xx is All You Need」というフレーズが繰り返され、タイトルのトレンドにもなった。論文. 、そしてTransformerはもはやトランスフォーマーの意味ではなく、AI分野における最先端の技術を表すようになりました。
6 年後、その年のこの論文を振り返ると、Nvidia の AI 科学者である Jim Fan が要約したように、多くの興味深い場所やあまり知られていない場所を見つけることができます。
Transformer モデルは従来の CNN および RNN ユニットを放棄し、ネットワーク構造全体がアテンション メカニズムのみで構成されています。
トランスフォーマーの論文の名前は「注意こそが必要だ」ですが、そのために私たちは注意メカニズムを推進し続けていますが、興味深い事実に注意してください。注意を発明したのはトランスフォーマーの研究者ではなく、彼らはこれをメカニズムを極限まで追求。
アテンション メカニズムは、2014 年にディープ ラーニングのパイオニアである Yoshua Bengio 率いるチームによって提案されました。
この ICLR 2015 論文で、Bengio らは、RNN + 「コンテキスト ベクトル」 (つまり、注意) の組み合わせを提案しました。これは NLP における最大のマイルストーンの 1 つですが、Transformer よりもあまり知られておらず、Bengio のチームの論文はこれまでに 29,000 回引用されており、Transformer の論文は 77,000 回引用されています。
地元の情報を一切手放さないと、必然的に無駄な仕事が多くなり、生き残ることはできません。同様に、深層学習ネットワークに同様のメカニズムを導入すると、モデルが簡素化され、計算が高速化されます。本質的に、注意とは、大量の情報から少量の重要な情報をフィルタリングし、重要でない情報の大部分を無視して、これらの重要な情報に焦点を当てることです。
近年、アテンション メカニズムは、画像上の受容野をキャプチャするコンピューター ビジョンや、重要なトークンや特徴を特定する NLP など、ディープ ラーニングのさまざまな分野で広く使用されています。多数の実験により、アテンション メカニズムを備えたモデルが、画像分類、セグメンテーション、追跡、強調、自然言語認識、理解、質問応答、翻訳などのタスクにおいて大幅なパフォーマンスの向上を達成したことが証明されています。
アテンション機構を導入した Transformer モデルは、汎用シーケンスコンピュータとみなすことができます. アテンション機構により、モデルは入力シーケンスを処理する際に、シーケンス内の異なる位置の相関関係に応じて異なるアテンションの重みを割り当てることができます。長距離の依存関係とコンテキスト情報をキャプチャし、シーケンス処理の効果を向上させます。
しかし、その年、『Transformer』も最初の注目論文も、汎用シーケンシャル コンピュータについては触れていませんでした。むしろ、著者らはこれを、機械翻訳という狭くて特定の問題を解決するためのメカニズムとして見ています。したがって、将来 AGI の起源をたどると、「目立たない」Google 翻訳にまで遡ることができるかもしれません。
NeurIPS 2017 には受理されましたが、口頭審査さえ得られませんでした
Transformer の論文は今では大きな影響力を持っていますが、世界最高峰の AI カンファレンス NeurIPS 2017 では賞はおろか、口頭発表さえも得られませんでした。その年、カンファレンスには合計 3,240 件の論文投稿があり、そのうち 678 件がカンファレンス論文として選ばれました。トランスフォーマー論文は受理された論文の 1 つでした。これらの論文のうち、40 件が口頭論文、112 件がスポットライト論文、そして 3 件が最優秀論文に選ばれました。 『ペーパーズ』は試練の賞を受賞したが、『トランスフォーマー』は受賞を逃した。
NeurIPS 2017 論文賞は逃しましたが、Transformer の影響は誰の目にも明らかです。
ジム・ファンは次のようにコメントした: 影響力のある研究が影響力を持つようになる前に、その重要性を人々が認識するのが難しいのは審査員のせいではない。ただし、幸運にも最初に発見された論文もあり、例えば、何開明氏らが提案した ResNet がその年の CVPR 2016 で最優秀論文を受賞するなど、この研究は当然の成果であり、世界各国で正しく評価されています。 AIサミット。しかし、2017 年の時点では、非常に賢明な研究者であっても、LLM によってもたらされる変化を予測することはできないかもしれません。1980 年代と同様に、2012 年以降にディープラーニングによってもたらされた津波を予測できた人はほとんどいませんでした。
当時、この論文の著者は Google とトロント大学の 8 名でしたが、5 年後、論文の著者のほとんどは元の大学を離れています。
2022年4月26日、トランスフォーマー論文の著者であるアシシュ・ヴァスワニ氏とニキ・パーマール氏を含む9人の共同創設者とともに、「アデプト」という会社が正式に設立された。
Niki Parmar は南カリフォルニア大学を修士号を取得して卒業し、2016 年に Google に入社しました。仕事の中で、彼女は Google 検索と広告向けにいくつかの成功した質問応答モデルとテキスト類似性モデルを開発しました。彼女は、Transformer モデルを画像生成、コンピューター ビジョンなどに拡張する初期の作業を主導しました。 2021年には彼女もGoogleを退社する予定だ。
退職後、2 人は Adept を共同設立し、それぞれ主任研究員 (Ashish Vaswani) と最高技術責任者 (Niki Parmar) を務めました。 Adept のビジョンは、さまざまなソフトウェア ツールや API を使用できるように訓練された「人工知能チームメイト」と呼ばれる AI を作成することです。
2023 年 3 月、アデプトはシリーズ B ラウンドで 3 億 5,000 万米ドルの資金調達が完了したことを発表し、企業評価額は 10 億米ドルを超え、ユニコーン企業に昇格しました。しかし、Adept が公的資金を調達するまでに、Niki Parmar と Ashish Vaswani は独自の新しい AI スタートアップを立ち上げるために Adept を離れていました。ただし、新会社は現在秘密にされており、会社の詳細にはアクセスできません。
もう一人の論文著者である Noam Shazeer は、Google の初期の最も重要な従業員の 1 人でした。彼は 2000 年末に Google に入社し、2021 年に退社し、その後「Character.AI」という新興企業の CEO になりました。
Character.AI の創設者は、Noam Shazeer に加えて、Daniel De Freitas であり、2 人とも Google の LaMDA チームの出身です。以前、彼らは Google で会話型プログラムをサポートする言語モデルである LaMDA を構築しました。
Character.AIは今年3月、評価額10億ドル、1億5,000万ドルの資金調達完了を発表しており、代理店OpenAIと競合する可能性を秘めた数少ない新興企業の一つである。 ChatGPT の成長率も高く、わずか 16 か月で成長することも稀です。ユニコーン企業の場合。そのアプリ Character.AI は、人間のようなテキスト応答を生成し、状況に応じた会話を行うことができるニューラル言語モデルのチャットボットです。
Character.AI は、2023 年 5 月 23 日に Apple App Store と Google Play Store で公開され、最初の週で 170 万件以上のダウンロードがありました。 2023 年 5 月、このサービスは c.ai+ と呼ばれる月額 9.99 ドルの有料サブスクリプションを追加しました。これにより、ユーザーは優先チャット アクセス、応答時間の短縮、新機能への早期アクセスなどの特典が得られます。
Cohere は、2019 年に設立された生成 AI スタートアップです。その中核事業には、NLP モデルの提供と、企業による人間とコンピューターのインタラクションの改善支援が含まれます。創設者の 3 人は Ivan Zhang、Nick Frosst、Aidan Gomez で、Gomez と Frosst は Google Brain チームの元メンバーです。 2021 年 11 月、Google Cloud は Cohere と協力し、Google Cloud はその強力なインフラストラクチャを使用して Cohere プラットフォームを強化し、Cohere は Cloud の TPU を使用して製品の開発とデプロイを行うことを発表しました。
注目すべきは、CohereがシリーズC資金で2億7000万ドルを調達し、22億ドルのユニコーンとなったことだ。
Google 在籍中に、Jakob Uszkoreit は Google アシスタントの言語理解チームの構築を支援し、早い段階で Google 翻訳に取り組みました。