作者:クリー、深潮 TechFlowOpenAIはこの数日間、ChatGPTの悪用事例に関する報告書を発表しました。その中には彼らに捕まったケースも含まれています。報告は長く、多数のAI乱用例を列挙しています。ロシア人によるフェイクニュースの拡散や、疑似スパイによる社会工学的攻撃もありますが、私が今日は特に取り上げたいのは、その中の一つです。カンボジアの殺猪盤(殺豚ゲーム)です。殺猪盤自体は珍しいものではありません。カンボジアの工場地帯の話は多くの人が耳にしたことがあるでしょう。珍しいのは、その中でAIが果たす役割です。この詐欺グループでは、ChatGPTが恋愛のやり取りを担当し、翻訳や指示の管理、日々の業務報告書作成、そして被害者一人ひとりの見積もりまで行っています。殺猪盤では、内部用語で「kill value(キルバリュー)」と呼ばれる、最終的にその人から絞り取れる金額の予測値があります。一連の流れの中で、ChatGPTはおそらく最も忙しい社員の一人です。OpenAIはこのケースにコードネームを付けており、「Operation Date Bait(デート釣り作戦)」と呼んでいます。流れは次の通りです。詐欺グループはまず、偽の高級デートサービス「Klub Romantis」を作り、そのロゴもChatGPTに生成させます。その後、ソーシャルメディアに有料広告を出し、ゴルフ、ヨット、高級レストランといったキーワードを選び、インドネシアの若い男性をターゲットにします。広告をクリックすると、最初にAIチャットボットと会話します。ボットはセクシーな受付役を演じ、好みの女性タイプを選ばせ、選択後にTelegramのリンクと専用招待コードを送ります。Telegramに入ると、実際の人間が対応を始めます。受付担当はChatGPTを使って曖昧なメッセージを生成し、会話をエスカレートさせ、最終的に二つの偽デートプラットフォーム(「LoveCode」と「SexAction」)へと誘導します。プラットフォームには偽の女性プロフィールや、「任務完了!ボーナス解放!」といった流動的なメッセージが流れています。これらはすべて作り話で、ネットサーフィンに慣れたあなたならすぐに見抜けるでしょうが、ターゲット層の全員がそうではありません。会話が進むと、受付はあなたを「メンター」に引き渡します。メンターは「任務」を始めさせ、各任務には金銭の支払いが必要です。VIPカードの購入、気になる女性への投票、ホテルのデポジットなど、多くの名目があります。最後の段階で、彼らは内部用語で「kill(殺す)」と呼ぶ行為に移ります。理由を作り出し、データ処理のエラーや保証金の検証などを口実に、一度に多額の送金をさせます。OpenAIの報告には、詐欺グループが被害者に送った手紙のコピーも掲載されており、インドネシア通貨で2050万ルピア(約1.2万ドル)を支払うよう求め、支払い後に35%のボーナスを返すと謳っています。資金が振り込まれると、Telegram上の詐欺師はあなたをブロックし、「案件完了」とメモします。ここまで見て、「別に普通の詐欺じゃないか」と思うかもしれません。詐欺の手口自体は新しいものではなく、殺猪盤の手口は何度も暴かれています。実際に驚かされるのは、その裏側の管理体制です。OpenAIの調査員は、これらのChatGPTアカウントの使用記録から、完全な企業構造を解明しました。この詐欺工場には三つの部署があります:誘導部、対応部、管理部です。誘導部は広告を出して人を集め、対応部は信頼を築き、管理部は最終的に収穫を行います。毎日、業務報告書が作成され、そこには処理中の被害者一人ひとりの情報と、その担当者、進行状況、そして次の数字が記されています。それが「kill value(キルバリュー)」です。つまり、管理者がその人から最終的に絞り取れる金額の予測値です。また、ChatGPTを使って財務帳簿の分析や業務報告書の作成、APIの接続方法やデートサイトのコード修正まで行っています。管理者が中国語を話し、スタッフがインドネシア語を話す場合も、ChatGPTが両者の翻訳を担当します。面白いのは、ある電信詐欺のスタッフがChatGPTに「収入後の税務問題」を質問し、「scammer(詐欺師)」と正直に職業欄を書いていたことです。OpenAIの報告は控えめな表現を用いていますが、詐欺グループの入力記録から、彼らは同時に数百のターゲットを処理し、毎日数千ドルの収入を得ている可能性があるとしています。ただし、これらの数字の真偽は独立して確認できないとも述べています。しかし、私個人の意見としては、数字の真偽にこだわる必要はなく、この管理体制だけを見ても十分です。誘導、変換、客単価、日報、部署分担――用語を置き換えれば、まるでSaaS企業の運営マニュアルを見ているかのようです。そして、恋愛、翻訳、日報作成、コード修正、会計処理…この工場の大半の作業は、ChatGPT一つで賄えます。話はまだ終わりません。OpenAIは同じ報告の中で、もう一つのラインも解説しています。コードネームは「Operation False Witness(被害者二次詐欺)」です。こちらもカンボジアからの事例です。このラインは一般人を狙うのではなく、すでに騙された経験のある人をターゲットにしています。仕組みは非常にシンプルです。あなたが殺猪盤に騙されてお金を失い、取り戻したいと思ったとき、ネットで「どうすればいいか」と検索します。すると、弁護士事務所の広告が目に入ります。詐欺被害者の損失回復を専門とする法律事務所です。クリックすると、そのサイトに入ります。サイトは本物そっくりに作られており、弁護士の写真はソーシャルメディアから盗用したものやAI生成のものもあります。各事務所には住所や免許、プロフィールも記載されており、ChatGPTが生成したニューヨーク州弁護士協会の会員証や偽の弁護士登録記録もあります。OpenAIは少なくとも六つの偽弁護士事務所を発見しています。また、FBIのインターネット犯罪苦情センターを模倣したサイトもあり、「苦情提出」ボタンをクリックするとTelegramのアカウントに遷移します。Telegramに入ると、「弁護士」があなたと会話を始めます。会話はChatGPTが生成し、「アメリカ式英語」で、専門弁護士の口調を模倣しています。彼らは「国際刑事裁判所と協力しており、資金回収前に料金は不要」と伝えます。ただし、サービス開始には15%の手数料を暗号通貨で支払う必要があります。また、秘密保持契約書もChatGPTが作成し、他者に確認させないように仕向けています。FBIは後にこの詐欺について公式警告を出し、主に高齢者を狙ったもので、被害者の早期回復願望を悪用していると指摘しています。これら二つの事例を見て、AIが標準装備となった現代において最も笑える点はここにあります。最初に騙されたとき、あなたはただのターゲットです。二度目に騙されたとき、あなたはより良いターゲットです。なぜなら、あなたはすでに騙されやすいことを証明してしまったからです。最後に、OpenAIは報告の中で詐欺の流れを三段階にまとめています。第一段階は「ping(冷接触)」。ターゲットに気づかせる段階です。第二段階は「zing(感情喚起)」。興奮や恐怖を煽る段階です。第三段階は「sting(収穫)」。金銭を奪う段階です。このフレームワークは非常に良くまとまっており、よく見るとこの三段階のどこにAIが関与できないのか、考える価値があります。従来の殺猪盤では最大のコストは人件費でした。ターゲットの言語を話せる人を雇い、パソコンの前に座らせる必要があったからです。カンボジアの工場も早い段階で英語が堪能な人材を採用し、高給を払っていました。しかし、今回の報告に出てくるデート詐欺の例では、管理者は中国語を話し、スタッフはインドネシア語を話し、ターゲットもインドネシア人です。三者の言語が通じない状況で、従来なら不可能だった作業も、ChatGPTを使えば一気に解決します。言語だけではありません。報告にはもう一つの詳細もあります。詐欺のスタッフはChatGPTに「OpenAIのAPIをどう接続すればいいか」と質問し、チャットの自動化を目指しているのです。つまり、AIは詐欺の手口をより巧妙にしたのではなく、むしろ安価にしたのです。OpenAIの見解によれば、このグループは同時に数百の詐欺案件を処理している可能性があります。規模が拡大すれば、個々の被害者にかかる人件費は低減し、その結果、より多くの低額ターゲットを騙すことができるのです。もう一つ、私が特に考えたいのは、ここです。OpenAIがこれらを発見できたのは、詐欺グループがChatGPTを使い、そのチャット記録がOpenAIのサーバーに保存されているからです。では、ローカルに展開したオープンソースのモデルを使っている場合はどうでしょうか?この報告書が示す範囲は、あくまでOpenAIが把握できた一部分にすぎません。見えない部分はどれほど広いのか、誰にもわからないのです。
この殺猪盘では、AIが恋愛を担当し、偽の弁護士免許証も作成しています。
作者:クリー、深潮 TechFlow
OpenAIはこの数日間、ChatGPTの悪用事例に関する報告書を発表しました。その中には彼らに捕まったケースも含まれています。
報告は長く、多数のAI乱用例を列挙しています。ロシア人によるフェイクニュースの拡散や、疑似スパイによる社会工学的攻撃もありますが、私が今日は特に取り上げたいのは、その中の一つです。
カンボジアの殺猪盤(殺豚ゲーム)です。
殺猪盤自体は珍しいものではありません。カンボジアの工場地帯の話は多くの人が耳にしたことがあるでしょう。珍しいのは、その中でAIが果たす役割です。
この詐欺グループでは、ChatGPTが恋愛のやり取りを担当し、翻訳や指示の管理、日々の業務報告書作成、そして被害者一人ひとりの見積もりまで行っています。
殺猪盤では、内部用語で「kill value(キルバリュー)」と呼ばれる、最終的にその人から絞り取れる金額の予測値があります。
一連の流れの中で、ChatGPTはおそらく最も忙しい社員の一人です。
OpenAIはこのケースにコードネームを付けており、「Operation Date Bait(デート釣り作戦)」と呼んでいます。
流れは次の通りです。
詐欺グループはまず、偽の高級デートサービス「Klub Romantis」を作り、そのロゴもChatGPTに生成させます。その後、ソーシャルメディアに有料広告を出し、ゴルフ、ヨット、高級レストランといったキーワードを選び、インドネシアの若い男性をターゲットにします。
広告をクリックすると、最初にAIチャットボットと会話します。ボットはセクシーな受付役を演じ、好みの女性タイプを選ばせ、選択後にTelegramのリンクと専用招待コードを送ります。
Telegramに入ると、実際の人間が対応を始めます。
受付担当はChatGPTを使って曖昧なメッセージを生成し、会話をエスカレートさせ、最終的に二つの偽デートプラットフォーム(「LoveCode」と「SexAction」)へと誘導します。
プラットフォームには偽の女性プロフィールや、「任務完了!ボーナス解放!」といった流動的なメッセージが流れています。これらはすべて作り話で、ネットサーフィンに慣れたあなたならすぐに見抜けるでしょうが、ターゲット層の全員がそうではありません。
会話が進むと、受付はあなたを「メンター」に引き渡します。メンターは「任務」を始めさせ、各任務には金銭の支払いが必要です。VIPカードの購入、気になる女性への投票、ホテルのデポジットなど、多くの名目があります。
最後の段階で、彼らは内部用語で「kill(殺す)」と呼ぶ行為に移ります。
理由を作り出し、データ処理のエラーや保証金の検証などを口実に、一度に多額の送金をさせます。OpenAIの報告には、詐欺グループが被害者に送った手紙のコピーも掲載されており、インドネシア通貨で2050万ルピア(約1.2万ドル)を支払うよう求め、支払い後に35%のボーナスを返すと謳っています。
資金が振り込まれると、Telegram上の詐欺師はあなたをブロックし、「案件完了」とメモします。
ここまで見て、「別に普通の詐欺じゃないか」と思うかもしれません。
詐欺の手口自体は新しいものではなく、殺猪盤の手口は何度も暴かれています。実際に驚かされるのは、その裏側の管理体制です。
OpenAIの調査員は、これらのChatGPTアカウントの使用記録から、完全な企業構造を解明しました。
この詐欺工場には三つの部署があります:誘導部、対応部、管理部です。誘導部は広告を出して人を集め、対応部は信頼を築き、管理部は最終的に収穫を行います。
毎日、業務報告書が作成され、そこには処理中の被害者一人ひとりの情報と、その担当者、進行状況、そして次の数字が記されています。
それが「kill value(キルバリュー)」です。
つまり、管理者がその人から最終的に絞り取れる金額の予測値です。
また、ChatGPTを使って財務帳簿の分析や業務報告書の作成、APIの接続方法やデートサイトのコード修正まで行っています。管理者が中国語を話し、スタッフがインドネシア語を話す場合も、ChatGPTが両者の翻訳を担当します。
面白いのは、ある電信詐欺のスタッフがChatGPTに「収入後の税務問題」を質問し、「scammer(詐欺師)」と正直に職業欄を書いていたことです。
OpenAIの報告は控えめな表現を用いていますが、詐欺グループの入力記録から、彼らは同時に数百のターゲットを処理し、毎日数千ドルの収入を得ている可能性があるとしています。ただし、これらの数字の真偽は独立して確認できないとも述べています。
しかし、私個人の意見としては、数字の真偽にこだわる必要はなく、この管理体制だけを見ても十分です。
誘導、変換、客単価、日報、部署分担――用語を置き換えれば、まるでSaaS企業の運営マニュアルを見ているかのようです。
そして、恋愛、翻訳、日報作成、コード修正、会計処理…この工場の大半の作業は、ChatGPT一つで賄えます。
話はまだ終わりません。
OpenAIは同じ報告の中で、もう一つのラインも解説しています。コードネームは「Operation False Witness(被害者二次詐欺)」です。こちらもカンボジアからの事例です。
このラインは一般人を狙うのではなく、すでに騙された経験のある人をターゲットにしています。
仕組みは非常にシンプルです。あなたが殺猪盤に騙されてお金を失い、取り戻したいと思ったとき、ネットで「どうすればいいか」と検索します。
すると、弁護士事務所の広告が目に入ります。詐欺被害者の損失回復を専門とする法律事務所です。クリックすると、そのサイトに入ります。
サイトは本物そっくりに作られており、弁護士の写真はソーシャルメディアから盗用したものやAI生成のものもあります。各事務所には住所や免許、プロフィールも記載されており、ChatGPTが生成したニューヨーク州弁護士協会の会員証や偽の弁護士登録記録もあります。
OpenAIは少なくとも六つの偽弁護士事務所を発見しています。
また、FBIのインターネット犯罪苦情センターを模倣したサイトもあり、「苦情提出」ボタンをクリックするとTelegramのアカウントに遷移します。
Telegramに入ると、「弁護士」があなたと会話を始めます。会話はChatGPTが生成し、「アメリカ式英語」で、専門弁護士の口調を模倣しています。彼らは「国際刑事裁判所と協力しており、資金回収前に料金は不要」と伝えます。
ただし、サービス開始には15%の手数料を暗号通貨で支払う必要があります。
また、秘密保持契約書もChatGPTが作成し、他者に確認させないように仕向けています。
FBIは後にこの詐欺について公式警告を出し、主に高齢者を狙ったもので、被害者の早期回復願望を悪用していると指摘しています。
これら二つの事例を見て、AIが標準装備となった現代において最も笑える点はここにあります。
最初に騙されたとき、あなたはただのターゲットです。二度目に騙されたとき、あなたはより良いターゲットです。なぜなら、あなたはすでに騙されやすいことを証明してしまったからです。
最後に、OpenAIは報告の中で詐欺の流れを三段階にまとめています。
第一段階は「ping(冷接触)」。ターゲットに気づかせる段階です。第二段階は「zing(感情喚起)」。興奮や恐怖を煽る段階です。第三段階は「sting(収穫)」。金銭を奪う段階です。
このフレームワークは非常に良くまとまっており、よく見るとこの三段階のどこにAIが関与できないのか、考える価値があります。
従来の殺猪盤では最大のコストは人件費でした。ターゲットの言語を話せる人を雇い、パソコンの前に座らせる必要があったからです。カンボジアの工場も早い段階で英語が堪能な人材を採用し、高給を払っていました。
しかし、今回の報告に出てくるデート詐欺の例では、管理者は中国語を話し、スタッフはインドネシア語を話し、ターゲットもインドネシア人です。三者の言語が通じない状況で、従来なら不可能だった作業も、ChatGPTを使えば一気に解決します。
言語だけではありません。
報告にはもう一つの詳細もあります。詐欺のスタッフはChatGPTに「OpenAIのAPIをどう接続すればいいか」と質問し、チャットの自動化を目指しているのです。
つまり、AIは詐欺の手口をより巧妙にしたのではなく、むしろ安価にしたのです。
OpenAIの見解によれば、このグループは同時に数百の詐欺案件を処理している可能性があります。規模が拡大すれば、個々の被害者にかかる人件費は低減し、その結果、より多くの低額ターゲットを騙すことができるのです。
もう一つ、私が特に考えたいのは、ここです。
OpenAIがこれらを発見できたのは、詐欺グループがChatGPTを使い、そのチャット記録がOpenAIのサーバーに保存されているからです。
では、ローカルに展開したオープンソースのモデルを使っている場合はどうでしょうか?
この報告書が示す範囲は、あくまでOpenAIが把握できた一部分にすぎません。見えない部分はどれほど広いのか、誰にもわからないのです。