原典:シン・ジユアン
画像ソース:無制限のAIによって生成
最近、LeCunを含む大物グループが再びLLMに発砲し始めました。 最新のブレークスルーは、LLMには推論能力がまったくないことです!
LeCunの見解では、推論能力の欠点はLLMの「デッドホール」であり、将来、LLMを訓練するためにどれほど強力な計算能力と広大で高品質のデータセットを使用しても、この問題を解決することはできません。
LeCunが投げかけた見解は、xAIの共同創設者の1人であるChristian Szegedyを含む、多くのネチズンやAIの大物がこの問題について議論するきっかけとなりました。
AI科学者のクリスチャン・セゲディはLeCunに答えた。
畳み込みネットワーク>推論機能が制限されていますが、これはAlphaZeroの機能には影響しません。
2人の大物の間のさらなる議論から、xAIの将来の技術的方向性、つまり大規模なモデルの機能を使用してAIの推論能力の上限を突破する方法を垣間見ることができます。
この問題の下で、ネチズンはLLM推論能力に寛容であり、AIと人間の知性の関係について別の考えを示しています。
すべての人間が推論に長けているわけではないので、推論が苦手な人もいるので、人間の知性の客観性を否定する必要がありますか?
おそらく、LLMのような人間は、「ランダムなオウム」の別の形にすぎません!
ビッグガイの対話はxAIの技術的な方向性を明らかにします
論文がarXivで公開された後、それは特にLeCunによって転送され、ネチズンと学者の間で広範な議論を引き起こしました。
ボス・マが率いるxAIの共同創設者であるAI科学者のクリスチャン・セゲディは、次のように答えました。
重要なのは、推論プロセスと確立された(RL)フィードバックループにあります。 彼は、モデル能力が非常に深い推論を実行できると信じています。 (例:数学的研究の実施)
LeCunも直接返信しました。
アルファゼロは計画を「実行します」。 しかし、MCTSでは、畳み込みネットワークを使用して適切な動作を考え出し、別の畳み込みネットワークを使用して場所を評価します。 ただし、ツリーの探索に費やす時間は無限である可能性があります。 これは推論と計画です。 強化学習は、これらのネットワークをトレーニングするために使用されます。
アルファゼロは計画を「実行します」。 しかし、MCTSでは、畳み込みネットワークを使用して適切な動作を考え出し、別の畳み込みネットワークを使用して場所を評価します。
ただし、ツリーの探索に費やす時間は無限である可能性があります。 これは推論と計画です。 強化学習は、これらのネットワークをトレーニングするために使用されます。
クリスチャン・セゲディは続けて答えました:
同意します。 だから私はアプローチがあると思う: システムに私たちに関連する推論空間の多くを探索させます。 探索することを検証可能にします。 面白いものに対する人間の好みを理解する。 これらすべてがすぐに実現可能になったように私には思えます。
同意します。 だから私はアプローチがあると思う:
これらすべてがすぐに実現可能になったように私には思えます。
そして、xAIリアンチュアンの口から出てきたポイントは、最後の文と相まって、「私の意見では、これらすべてがすぐに実行可能になるだろう」と相まって、人々に考えさせざるを得ません。
結局のところ、そのような確信を持って「実行可能」と言う最も直接的な理由は、「私たちはすでにそれを成し遂げた」かもしれません。
おそらく近い将来、xAIがLLMの弱い推論能力の「問題点」をつかみ、それを追いかけ、「強い推論」を備えた大きなモデルを作成し、ChatGPTなどの市場に出回っている大型モデル製品の最大の欠陥を補うことができるでしょう。
LeCun:LLMが機能しないと何回言ったことか! **
LLMの推論能力に対するLeCunの最近の反論は、ASU大学のスバラオ・カンバンパティ教授による最近の論文に基づいています。
自己紹介:
彼の見解では、多くの能力で人間のレベルに到達し、それを超えると主張するLLMは、推論と計画能力に大きな欠陥があります。
論文住所:
人間の専門家の計画推論の問題に直面して、GPT-4はわずか12%正しいです。
さらに、推論タスクでは、LLMが自身の回答を自己修正することを許可されている場合、出力品質は増加せず低下します。
つまり、LLMには正解を推論する能力がなく、すべてが推測することしかできません。
論文が発表された後、教授はまた、ネチズンや学者による論文の議論についての彼の見解をさらに詳しく説明するために長いツイートを送りました。
教授は、LLMは優れた「アイデアジェネレーター」であると考えていますが、言語とコードの両方において、自分で計画したり推論したりすることはできません。
教授は、LLMの自己修正能力について多くの誤解があることを指摘しました。
いくつかの論文の著者は、LLMがエラーを生成し、人間のように自分自身を修正していると誤って信じて、LLMを過剰に擬人化しています。
彼は、自己評価ステートメントを作成および評価するために無計画にキュレーションされたQ&Aデータセットを使用することを批判し、コミュニティに混乱をもたらすと主張しました。
教授はまた、外部検証と人間の関与の重要性を指摘しました。 GPT-4はカラー構成を検証できませんが、人間が修正する必要のあるPythonコードの生成に役立ち、外部バリデーターとして使用できます。
同時に、人間やプロの推論者と協力するモデルは、モデルの推論能力の向上にも役立ちます。
教授は、LLMから計画ドメインモデルを抽出し、人間と専門の推論者の助けを借りてそれらを最適化し、計画バリデーターまたは独立したドメインプランナーで使用する方法を示す論文をリストアップしました。
また、LLMの検証機能をさらに最適化することも重要です。 特定の微調整でLLMの検証機能を強化し、これによりLLMが推論や検証で突然パフォーマンスを向上させるわけではありませんが、自己修正能力をわずかに向上させることができます。
**LLMは「ランダムなオウム」だと言ってください、それは人間ではありませんか? **
ネチズンはまた、LeCunのTwitterの下で、実際には、計画と推論は多くの人間にとって強みではなく、大規模な言語モデルの知性レベルを否定すべきではないと指摘しました。
GlintとWhipという2つの実用的なソーシャルプラットフォームを設立したシリアルアントレプレナーのGoutham Kurraも最近、LLMの背後にある能力と人間の知性の間に本質的な違いはないと主張して、「私たちは皆ランダムなオウムです」という長いブログを公開しました。
記事のリンク:
人間が座って瞑想すると、アイデアを生み出すメカニズムがどのように機能するかがわからず、人間は自分の思考の性質を意識的に制御できません。
暑い日に散歩に出かけて汗をかいたとします。 これは彼に気候変動について考えるように導き、それは彼の考えにいくらかの混乱を引き起こすでしょう。
彼は自分の考えをより楽しいトピック、意識的なコントロールのように感じるプロセスに移すことに決めましたが、どのトピックについて考えることを選択しますか?
おそらく、人間の脳は、彼が検討するためのいくつかのオプションを忠実にポップアップします:多分夕方遅くにプレイするゲーム、または今週末に参加するコンサートを検討してください。
しかし、これらの新しいオプションはどこから来るのでしょうか? あなたの脳はどのようにしてこれらをポップすることに決めましたか? 人間は列挙プロセスのすべての可能なオプションを意識していますか?
彼が歩き続け、これらのことを考えたとき、彼は目の隅からリスが木を駆け上がっているのに気づき、そのふさふさした尾に驚いた。
この時、人間の「知的思考」は再び消え、ランダムなオウムのように自動的に考え始めましたか?
自分の思考が実際にどのようになるかについてほとんど知らないことに気付いたとき、問題は、アイデアの無意識の起源がどれほどランダムであるかということです。
それも一種の「ランダムなオウム」ではありませんか? 私たちの物語生成メカニズムはLLMとどの程度似ていますか?
エコノミストによると、「おそらくあなたが聞いたことのない最高の現代小説家」であるイタリアの作家エレナ・フェランテを考えてみましょう。
彼女の「私の天才ガールフレンド」シリーズは40カ国で1100万部以上を売り上げており、批評家は「女性の友情がこれほど鮮やかに提示されたことはありません」と言っています。
彼女の回想録「In the Margins」は、第二次世界大戦後のイタリアでの彼女の育成について説明しています。
当時の他の女性作家と同様に、彼女は男性の文学の伝統に生まれ、主に男性作家の作品を読んでいたので、執筆のために男性作家を模倣し始めました。
彼女の自伝の中で、彼女は次のように書いています。
13歳くらいの時も... 文章のレベルは悪くない気がしますし、いつも男性の声が何をどう書くかを教えてくれているような気がします。 声が私と同年代か年上か、もうおじいさんなのかもわからなかった。 ...... 私は自分が男性であると同時に女性であると想像しました。
13歳くらいの時も... 文章のレベルは悪くない気がしますし、いつも男性の声が何をどう書くかを教えてくれているような気がします。
声が私と同年代か年上か、もうおじいさんなのかもわからなかった。 ...... 私は自分が男性であると同時に女性であると想像しました。
彼女の自伝では、人類の偉大な現代作家が、現代イタリア文学のユニークでエネルギッシュな声で、彼女の「ランダムなオウム」の状態から逃れるための彼女の闘争と闘争を率直に説明しています。
彼女のユニークな言語とアイデアは、何百年にもわたって形成された男性優位の文学的規範によって無意識のうちに形作られているからです。
私たちが本当に自分自身を見ると、私たちの頭に浮かぶ考えのほとんどは他の人の声、つまり私たちの両親と教師の声です。
私たちが読む本、私たちが見るテレビ、そして私たちの心は、非常に深く粘着性のある文化の上に構築されています。
話し、考え、表現する能力は、私たちが読んだものの関数であり、過去の言葉は未来に影響を与えます。
私たちは本質的に先祖と同じ生活を送っており、昨日の同じ考えのほとんどを繰り返し、他の人と同じ言葉をほとんど違いなく書いています。
ハリウッド映画を見て、数冊の本を読むと、多くの物語はほとんど同じですが、背景は異なります。
時々、人間はオウム返しの束縛を取り除くことができるようです、少し独創的なアイデアを言う、少し独創的なアイデアを考えてください。
この少しのオリジナルコンテンツで、私たちの文化は大きな飛躍を遂げました。
リソース：
_source=プロファイル&utm_medium=リーダー2
14192 人気度
9700 人気度
48497 人気度
4701 人気度
44628 人気度
LeCunとxAIの共創チョーク、GPT-4の主要な推論欠陥には解決策がありませんか? ネチズン:人間も「ランダムなオウム」です
原典:シン・ジユアン
最近、LeCunを含む大物グループが再びLLMに発砲し始めました。 最新のブレークスルーは、LLMには推論能力がまったくないことです!
畳み込みネットワーク>推論機能が制限されていますが、これはAlphaZeroの機能には影響しません。
2人の大物の間のさらなる議論から、xAIの将来の技術的方向性、つまり大規模なモデルの機能を使用してAIの推論能力の上限を突破する方法を垣間見ることができます。
この問題の下で、ネチズンはLLM推論能力に寛容であり、AIと人間の知性の関係について別の考えを示しています。
すべての人間が推論に長けているわけではないので、推論が苦手な人もいるので、人間の知性の客観性を否定する必要がありますか?
おそらく、LLMのような人間は、「ランダムなオウム」の別の形にすぎません!
ビッグガイの対話はxAIの技術的な方向性を明らかにします
論文がarXivで公開された後、それは特にLeCunによって転送され、ネチズンと学者の間で広範な議論を引き起こしました。
ボス・マが率いるxAIの共同創設者であるAI科学者のクリスチャン・セゲディは、次のように答えました。
畳み込みネットワーク>推論機能が制限されていますが、これはAlphaZeroの機能には影響しません。
そして、xAIリアンチュアンの口から出てきたポイントは、最後の文と相まって、「私の意見では、これらすべてがすぐに実行可能になるだろう」と相まって、人々に考えさせざるを得ません。
結局のところ、そのような確信を持って「実行可能」と言う最も直接的な理由は、「私たちはすでにそれを成し遂げた」かもしれません。
LeCun:LLMが機能しないと何回言ったことか! **
LLMの推論能力に対するLeCunの最近の反論は、ASU大学のスバラオ・カンバンパティ教授による最近の論文に基づいています。
彼の見解では、多くの能力で人間のレベルに到達し、それを超えると主張するLLMは、推論と計画能力に大きな欠陥があります。
人間の専門家の計画推論の問題に直面して、GPT-4はわずか12%正しいです。
さらに、推論タスクでは、LLMが自身の回答を自己修正することを許可されている場合、出力品質は増加せず低下します。
つまり、LLMには正解を推論する能力がなく、すべてが推測することしかできません。
論文が発表された後、教授はまた、ネチズンや学者による論文の議論についての彼の見解をさらに詳しく説明するために長いツイートを送りました。
教授は、LLMの自己修正能力について多くの誤解があることを指摘しました。
いくつかの論文の著者は、LLMがエラーを生成し、人間のように自分自身を修正していると誤って信じて、LLMを過剰に擬人化しています。
彼は、自己評価ステートメントを作成および評価するために無計画にキュレーションされたQ&Aデータセットを使用することを批判し、コミュニティに混乱をもたらすと主張しました。
教授はまた、外部検証と人間の関与の重要性を指摘しました。 GPT-4はカラー構成を検証できませんが、人間が修正する必要のあるPythonコードの生成に役立ち、外部バリデーターとして使用できます。
同時に、人間やプロの推論者と協力するモデルは、モデルの推論能力の向上にも役立ちます。
教授は、LLMから計画ドメインモデルを抽出し、人間と専門の推論者の助けを借りてそれらを最適化し、計画バリデーターまたは独立したドメインプランナーで使用する方法を示す論文をリストアップしました。
また、LLMの検証機能をさらに最適化することも重要です。 特定の微調整でLLMの検証機能を強化し、これによりLLMが推論や検証で突然パフォーマンスを向上させるわけではありませんが、自己修正能力をわずかに向上させることができます。
**LLMは「ランダムなオウム」だと言ってください、それは人間ではありませんか? **
ネチズンはまた、LeCunのTwitterの下で、実際には、計画と推論は多くの人間にとって強みではなく、大規模な言語モデルの知性レベルを否定すべきではないと指摘しました。
人間が座って瞑想すると、アイデアを生み出すメカニズムがどのように機能するかがわからず、人間は自分の思考の性質を意識的に制御できません。
暑い日に散歩に出かけて汗をかいたとします。 これは彼に気候変動について考えるように導き、それは彼の考えにいくらかの混乱を引き起こすでしょう。
彼は自分の考えをより楽しいトピック、意識的なコントロールのように感じるプロセスに移すことに決めましたが、どのトピックについて考えることを選択しますか?
おそらく、人間の脳は、彼が検討するためのいくつかのオプションを忠実にポップアップします:多分夕方遅くにプレイするゲーム、または今週末に参加するコンサートを検討してください。
彼が歩き続け、これらのことを考えたとき、彼は目の隅からリスが木を駆け上がっているのに気づき、そのふさふさした尾に驚いた。
この時、人間の「知的思考」は再び消え、ランダムなオウムのように自動的に考え始めましたか?
自分の思考が実際にどのようになるかについてほとんど知らないことに気付いたとき、問題は、アイデアの無意識の起源がどれほどランダムであるかということです。
それも一種の「ランダムなオウム」ではありませんか? 私たちの物語生成メカニズムはLLMとどの程度似ていますか?
エコノミストによると、「おそらくあなたが聞いたことのない最高の現代小説家」であるイタリアの作家エレナ・フェランテを考えてみましょう。
彼女の回想録「In the Margins」は、第二次世界大戦後のイタリアでの彼女の育成について説明しています。
当時の他の女性作家と同様に、彼女は男性の文学の伝統に生まれ、主に男性作家の作品を読んでいたので、執筆のために男性作家を模倣し始めました。
彼女の自伝の中で、彼女は次のように書いています。
彼女の自伝では、人類の偉大な現代作家が、現代イタリア文学のユニークでエネルギッシュな声で、彼女の「ランダムなオウム」の状態から逃れるための彼女の闘争と闘争を率直に説明しています。
彼女のユニークな言語とアイデアは、何百年にもわたって形成された男性優位の文学的規範によって無意識のうちに形作られているからです。
私たちが本当に自分自身を見ると、私たちの頭に浮かぶ考えのほとんどは他の人の声、つまり私たちの両親と教師の声です。
私たちが読む本、私たちが見るテレビ、そして私たちの心は、非常に深く粘着性のある文化の上に構築されています。
話し、考え、表現する能力は、私たちが読んだものの関数であり、過去の言葉は未来に影響を与えます。
私たちは本質的に先祖と同じ生活を送っており、昨日の同じ考えのほとんどを繰り返し、他の人と同じ言葉をほとんど違いなく書いています。
ハリウッド映画を見て、数冊の本を読むと、多くの物語はほとんど同じですが、背景は異なります。
時々、人間はオウム返しの束縛を取り除くことができるようです、少し独創的なアイデアを言う、少し独創的なアイデアを考えてください。
この少しのオリジナルコンテンツで、私たちの文化は大きな飛躍を遂げました。
リソース：
_source=プロファイル&utm_medium=リーダー2