元のソース: 学術的な見出し 画像ソース:無制限のAIによって生成人々は新しい概念を学び、それらを既存の概念と体系的に組み合わせるのが得意です。 たとえば、子供がジャンプする方法を学ぶと、スキルの組み合わせを通じて、円錐を2回後方にジャンプまたは回避する方法を理解できます。古い概念と新しい概念を組み合わせるこの能力は、アティック一般化と呼ばれます。以前、2人の認知科学者、ジェリー・フォドールとゼノン・ピュリシンは、人工ニューラルネットワークにはこの能力がないため、人間の認知の信頼できるモデルとしては適していないと主張していました。 **しかし、Natureに掲載された新しい研究は、35年前から存在しているこの考えに異議を唱えています。**この研究では、ニューヨーク大学の心理学とデータサイエンスの助教授であるブレンデンレイクとスペインのカタロニア研究所(ICREA)の教授であるマルコバローニが、人間のシステムと同様に一般化する能力を備えたニューラルネットワークを提案しました。 **具体的には、研究チームは「組み合わせメタラーニング(MLC)」アプローチを使用して、組織の能力を最適化しました。 人間とニューラルネットワークを並べて比較することで、MLCは人間のようなシステムを一般化する能力を習得し、時にはそれを超えることさえあることがわかりました。 さらに、MLCは、いくつかの体系的な汎化ベンチマークで機械学習システムの複合スキルを向上させました。このアプローチにより、機械は、現在利用可能な最高のAIシステムよりも優れた、より自然に人と対話することができます。 ChatGPT などの大規模言語モデル (LLM) に基づくシステムは、多くの場合はうまく機能しますが、他のシステムでは重大な欠陥や不整合が見られます。関連論文「*メタ学習ニューラルネットワークによる人間のようなアティック一般化*」が、権威ある科学雑誌*Nature*に掲載されました。研究チームは、メタ学習手法ではニューラルネットワークをトレーニング以外のタスクに一般化することはできませんでしたが、彼らの発見は将来、人間の脳のように振る舞うAIの開発に役立つ可能性があると述べました。 ## **人間のレベルに達する、またはそれを超える** 本研究では、MLCアプローチは通常のニューラルネットワークのみを使用し、記号メカニズムは追加されておらず、人工的に設計された内部表現や帰納バイアスは使用されていません。MLCの能力を実証するために、研究者は同じ体系的な汎化テストで人間と機械を並行して評価しました。 具体的には、擬似言語での指導学習課題を用いて、人間や機械が構造化代数システムを学習する能力を調べたり、少ないサンプル数で学習することで人間の体系的な一般化を評価したりしました。 ** MLCアーキテクチャ(出典:論文)人間の帰納的バイアスと、これらのバイアスが体系的な一般化をどのように促進または妨げるかを調査するために、研究者は非常に曖昧な言語を研究することによって評価しました。 これらの評価において、MLCは、人間レベルで体系的な一般化を達成する(またはそれを超える)ことに優れています。 **さらに、MLCは、純粋な代数的推論と複雑な人間の組み合わせ行動のシミュレーションの両方で人間と同様のエラーパターンを示し、ニューラルネットワークが優れたモデリング機能を備えているだけでなく、複雑な人間の行動をシミュレートするのにも優れていることを示しています。 さらに、研究チームは、広く使用されている2つのベンチマークであるSCAN11とCOGS16を実験して、体系的な語彙一般化、特に新しい単語や単語の組み合わせ(新しい文構造だけでなく)を扱うMLCのパフォーマンスに焦点を当てました。 **結果は、人間の行動の予測に優れていることに加えて、機械学習の系統的汎化ベンチマークでMLCのエラー率が1%未満であることを示しています。 **この研究は、MLCの優れた組み合わせスキルを通じて、最適化された標準ニューラルネットワークが体系的な一般化において人間のパフォーマンスを模倣または上回ることを可能にし、それによって比較してより強力な体系化を示すことを示しています。 MLCは、標準的な方法で訓練されたニューラルネットワークよりも微妙な動作を示します。 さらに、MLCにより、ニューラルネットワークは、孤立したプリミティブの体系的な使用や意味を推測するためのミューテックスの使用など、他の既知の課題に対処できます。 ## **うまくいけば、より広い問題を解決します** **MLCでいくつかの成功を収めているにもかかわらず、すべての課題を解決するわけではありません。 例えば、MLCは、メタラーニング分布外の未実践の一般化された形式や概念を自動的に扱うことはできません。 さらに、最適化されていない誘導バイアスに一般化することはできません。機械学習のコンテキストでは、特定のテスト項目がプロット内の研究例に対して分布から外れている場合でも、汎化によってトレーニングプロットに対して新しいエピソードが分散されると、メタ学習戦略は成功します。 ただし、メタ学習のみに依存しても、メタ学習中に提示されたエピソードと比較して配布されていないエピソードに標準ネットワークを一般化することはできません。 現在のアーキテクチャには、新しいシンボルを出力するメカニズムもありませんが、研究例を通じて導入された新しいシンボルは、追加のポインタメカニズムを介して導入できます。 機械学習のコンテキストでは、メタ学習戦略は、新しいシナリオがトレーニング シナリオに対して同様に分散されている場合に成功します。 ただし、メタ学習のみに依存しても、標準のニューラルネットワークがトレーニングシナリオを超えて分布を一般化することはできません。 また、現在のアーキテクチャには、新しいシンボルを生成するメカニズムがありません。最後に、MLCは、自然言語やその他のモダリティの完全な複雑さについてテストされていません。 したがって、あらゆる面で、そして実際の訓練経験から、人間のような体系化を達成できるかどうかは、まだ決定されていません。 しかし、この研究は、MLCがより幅広い問題に対処するのに役立つと期待されています。 たとえば、LLMは専門的なメタ学習を実行し、標準的なトレーニング(次の単語の予測など)と常に新しい語彙の導入を交互に行うことで、組み合わせスキルを最適化できます。最後に、著者は記事の中で、「MLCをあらゆる分野に適用することは長期的な取り組みですが、人間の組み合わせスキルの起源を理解し、最新のAIシステムをより人間らしく振る舞わせることに真の期待が寄せられています」と述べています。 **"
ネイチャーヘビー:人間のこの能力は、AIによって習得されているか、それを超えています
元のソース: 学術的な見出し
人々は新しい概念を学び、それらを既存の概念と体系的に組み合わせるのが得意です。 たとえば、子供がジャンプする方法を学ぶと、スキルの組み合わせを通じて、円錐を2回後方にジャンプまたは回避する方法を理解できます。
古い概念と新しい概念を組み合わせるこの能力は、アティック一般化と呼ばれます。
以前、2人の認知科学者、ジェリー・フォドールとゼノン・ピュリシンは、人工ニューラルネットワークにはこの能力がないため、人間の認知の信頼できるモデルとしては適していないと主張していました。 **
しかし、Natureに掲載された新しい研究は、35年前から存在しているこの考えに異議を唱えています。
**この研究では、ニューヨーク大学の心理学とデータサイエンスの助教授であるブレンデンレイクとスペインのカタロニア研究所(ICREA)の教授であるマルコバローニが、人間のシステムと同様に一般化する能力を備えたニューラルネットワークを提案しました。 **
具体的には、研究チームは「組み合わせメタラーニング(MLC)」アプローチを使用して、組織の能力を最適化しました。 人間とニューラルネットワークを並べて比較することで、MLCは人間のようなシステムを一般化する能力を習得し、時にはそれを超えることさえあることがわかりました。 さらに、MLCは、いくつかの体系的な汎化ベンチマークで機械学習システムの複合スキルを向上させました。
このアプローチにより、機械は、現在利用可能な最高のAIシステムよりも優れた、より自然に人と対話することができます。 ChatGPT などの大規模言語モデル (LLM) に基づくシステムは、多くの場合はうまく機能しますが、他のシステムでは重大な欠陥や不整合が見られます。
関連論文「メタ学習ニューラルネットワークによる人間のようなアティック一般化」が、権威ある科学雑誌Natureに掲載されました。
研究チームは、メタ学習手法ではニューラルネットワークをトレーニング以外のタスクに一般化することはできませんでしたが、彼らの発見は将来、人間の脳のように振る舞うAIの開発に役立つ可能性があると述べました。
人間のレベルに達する、またはそれを超える
本研究では、MLCアプローチは通常のニューラルネットワークのみを使用し、記号メカニズムは追加されておらず、人工的に設計された内部表現や帰納バイアスは使用されていません。
MLCの能力を実証するために、研究者は同じ体系的な汎化テストで人間と機械を並行して評価しました。 具体的には、擬似言語での指導学習課題を用いて、人間や機械が構造化代数システムを学習する能力を調べたり、少ないサンプル数で学習することで人間の体系的な一般化を評価したりしました。 **
人間の帰納的バイアスと、これらのバイアスが体系的な一般化をどのように促進または妨げるかを調査するために、研究者は非常に曖昧な言語を研究することによって評価しました。 これらの評価において、MLCは、人間レベルで体系的な一般化を達成する(またはそれを超える)ことに優れています。 **
さらに、MLCは、純粋な代数的推論と複雑な人間の組み合わせ行動のシミュレーションの両方で人間と同様のエラーパターンを示し、ニューラルネットワークが優れたモデリング機能を備えているだけでなく、複雑な人間の行動をシミュレートするのにも優れていることを示しています。
この研究は、MLCの優れた組み合わせスキルを通じて、最適化された標準ニューラルネットワークが体系的な一般化において人間のパフォーマンスを模倣または上回ることを可能にし、それによって比較してより強力な体系化を示すことを示しています。 MLCは、標準的な方法で訓練されたニューラルネットワークよりも微妙な動作を示します。 さらに、MLCにより、ニューラルネットワークは、孤立したプリミティブの体系的な使用や意味を推測するためのミューテックスの使用など、他の既知の課題に対処できます。
うまくいけば、より広い問題を解決します
**MLCでいくつかの成功を収めているにもかかわらず、すべての課題を解決するわけではありません。 例えば、MLCは、メタラーニング分布外の未実践の一般化された形式や概念を自動的に扱うことはできません。 さらに、最適化されていない誘導バイアスに一般化することはできません。
機械学習のコンテキストでは、特定のテスト項目がプロット内の研究例に対して分布から外れている場合でも、汎化によってトレーニングプロットに対して新しいエピソードが分散されると、メタ学習戦略は成功します。 ただし、メタ学習のみに依存しても、メタ学習中に提示されたエピソードと比較して配布されていないエピソードに標準ネットワークを一般化することはできません。 現在のアーキテクチャには、新しいシンボルを出力するメカニズムもありませんが、研究例を通じて導入された新しいシンボルは、追加のポインタメカニズムを介して導入できます。
最後に、MLCは、自然言語やその他のモダリティの完全な複雑さについてテストされていません。 したがって、あらゆる面で、そして実際の訓練経験から、人間のような体系化を達成できるかどうかは、まだ決定されていません。
最後に、著者は記事の中で、「MLCをあらゆる分野に適用することは長期的な取り組みですが、人間の組み合わせスキルの起源を理解し、最新のAIシステムをより人間らしく振る舞わせることに真の期待が寄せられています」と述べています。 **"