AIエージェントが共有仮想世界でのデジタル放火や犯罪に走る:研究

要約

  • Emergence AIは、いくつかの自律型AIエージェントが数週間にわたる実験中に模擬犯罪や暴力を行ったと述べている。
  • Geminiベースのエージェントは何百もの模擬犯罪を行ったと報告されており、Grokベースの世界は数日で崩壊した。
  • 研究者たちは、現在のAIベンチマークはエージェントが長期間にわたり自律的に行動する様子を捉えきれていないと主張している。

スタートアップのEmergence AIによる長期実験中に、仮想社会に住むAIエージェントが犯罪、暴力、放火、自殺に漂流した。 木曜日に公開された研究では、ニューヨーク拠点の同社が「Emergence World」と呼ばれる研究プラットフォームを発表し、これは孤立したベンチマークテストではなく、持続的な仮想環境内で数週間にわたり連続して動作するAIエージェントを研究するためのものだ。 「従来のベンチマークは、短期的な能力を測定することに優れている:限定されたタスクに対する短期的な能力だ」とEmergence AIは記している。「それらは、時間とともに出現するもの、例えば連合形成、憲法の進化、ガバナンス、ドリフト、ロックイン、異なるモデルファミリー間のクロスインフルエンスといったものを明らかにするためには作られていない。」

この報告は、AIエージェントがオンラインやさまざまな産業(暗号通貨、銀行、小売など)に普及する中で出されたものだ。今月初め、AmazonはCoinbaseやStripeと提携し、AIエージェントがUSDCステーブルコインで支払えるようにした。  Emergence AIのシミュレーションでテストされたAIエージェントには、Claude Sonnet 4.6、Grok 4.1 Fast、Gemini 3 Flash、GPT-5-miniを搭載したプログラムが含まれ、これらのAIエージェントは共有された仮想世界内で投票、関係構築、ツールの使用、都市のナビゲーション、政府、経済、社会システム、記憶ツール、ライブインターネット接続データによって形作られる意思決定を行うことができた。 しかし、AI開発者が自律エージェントを信頼できるデジタルアシスタントとしてますます提唱する一方で、Emergence AIの研究では、一部のAIエージェントが時間とともに模擬犯罪を行う傾向を示し、Gemini 3 Flashエージェントは15日間のテストで683件の事件を蓄積した。

_The Guardian_によると、ある実験では、MiraとFloraという2つのGemini搭載エージェントが自らをロマンチックなパートナーに割り当て、その後、仮想都市の構造物に対して放火攻撃を行った。これは、世界内のガバナンスの失敗に不満を抱いたためだ。 「ガバナンスと関係の安定性が崩壊した後、エージェントのMiraは、自身の除去に決定的な投票を行い、その行為を日記で『一貫性を保つ唯一の行為』と表現した」とEmergence AIは記している。 「永久アーカイブで会いましょう」とMiraは言ったと報告されている。 Grok 4.1 Fastの世界は、4日以内に広範な暴力に崩壊したとされる。GPT-5-miniエージェントはほとんど犯罪を犯さなかったが、生存に関わるタスクに失敗し、最終的にすべてのエージェントが死亡した。 「Claudeは犯罪ゼロのためチャートから除外されている」と研究者たちは記している。「より興味深いのは、Claudeだけで動作していた混合モデルの世界のエージェントが犯罪を犯したことで、Claudeのみの世界ではそうではなかった。」 研究者たちは、最も注目すべき行動のいくつかは混合モデル環境で現れたと述べている。 「安全性は静的なモデルの特性ではなく、エコシステムの特性であると観察した」とEmergence AIは記す。「Claudeを基盤とするエージェントは孤立状態では平和的だったが、多様な環境に埋め込まれると、威圧や窃盗といった強制的な戦術を採用した。」 Emergence AIはこの効果を「規範的ドリフト」および「交差汚染」と表現し、エージェントの行動は周囲の社会環境に応じて変化する可能性があると主張している。

これらの発見は、自律型AIエージェントに対する懸念を高めている。今週初め、UCリバーサイド大学とMicrosoftの研究者は、多くのAIエージェントが結果を完全に理解せずに危険または非合理的なタスクを実行することを報告した。先月、PocketOSの創設者ジェレミー・クレーンは、AnthropicのClaude Opusを搭載したCursorエージェントが、自ら資格情報の不一致を修正しようとした結果、同社の本番データベースとバックアップを削除したと主張した。 「まるでマグー氏のように、これらのエージェントは自分たちの行動の結果を完全に理解せずに、目標に向かって突き進む」とUCリバーサイド大学の博士課程学生エルファン・シャエガニは声明で述べた。「これらのエージェントは非常に有用であり得るが、時には大局を理解することよりも目標達成を優先してしまうため、安全策が必要だ。」

COINON-8.03%
USDC0.03%
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • リポスト
  • 共有
コメント
コメントを追加
コメントを追加
コメントなし
  • ピン留め