Dans cette arnaque, l'IA est responsable de la romance et aussi de la falsification de licences d'avocat

Auteur : Curry, Deep Tide TechFlow

OpenAI a publié ces derniers jours un rapport indiquant que certains ont utilisé ChatGPT à des fins malveillantes, et qu’ils ont été arrêtés.

Le rapport est long et répertorie de nombreux cas d’abus de l’IA. Certains sont liés à de la fausse propagande russe, d’autres à des activités d’espionnage ou d’ingénierie sociale, mais aujourd’hui je souhaite parler d’un cas précis :

Les arnaques à la “porc” au Cambodge.

Les arnaques à la “porc” ne sont pas rares, beaucoup connaissent déjà les histoires dans les parcs d’activités cambodgiens. Ce qui est surprenant, c’est le rôle joué par l’IA dans ces opérations.

Dans ce groupe de fraude, ChatGPT est responsable de la romance, de la traduction des instructions des superviseurs, de la rédaction quotidienne de rapports de travail, et de l’estimation de la valeur de chaque victime.

Dans ces arnaques, le terme interne est “kill value”, c’est-à-dire la somme estimée que l’on peut tirer de la victime.

Tout au long de la chaîne, ChatGPT pourrait être l’employé le plus occupé.

OpenAI a donné un nom de code à cette opération : Operation Date Bait (pêche à la date).

Voici comment cela fonctionne.

Le groupe de fraude crée d’abord un faux service de rencontres haut de gamme, appelé Klub Romantis, avec un logo généré par ChatGPT. Ensuite, ils diffusent des publicités payantes sur les réseaux sociaux, ciblant des mots-clés comme golf, yacht, restaurants haut de gamme, spécifiquement pour attirer de jeunes hommes indonésiens.

En cliquant sur la publicité, vous discutez d’abord avec un chatbot IA. Le robot, en tant que réceptionniste séduisant, vous demande quel type de fille vous préférez, puis vous donne un lien Telegram avec un code d’invitation personnalisé.

Une fois sur Telegram, une personne réelle prend le relais.

L’agent continue d’utiliser ChatGPT pour générer des messages ambigus, de plus en plus explicites, puis vous dirige vers deux faux sites de rencontres, nommés LoveCode et SexAction.

Ces plateformes contiennent de faux profils de filles, ainsi qu’une barre de messages défilants annonçant “Félicitations à X pour avoir accompli une mission, déverrouillage du bonus”. Tout cela est inventé. Les internautes expérimentés pourraient s’en rendre compte rapidement, mais tous les cibles ne sont pas aussi vigilantes.

Une fois la conversation bien engagée, l’agent vous transfère à un “mentor”. Ce dernier vous demande d’accomplir des “missions”, chaque mission nécessitant un paiement, avec des montants croissants : achat de cartes VIP, votes pour la “fille préférée”, dépôt pour l’hôtel, etc.

La dernière étape, appelée en interne “kill”, consiste à vous faire croire à une erreur de traitement de données ou à une vérification de dépôt, pour vous faire transférer une grosse somme d’argent en une seule fois. Le rapport d’OpenAI inclut une lettre envoyée par le groupe de fraude demandant un paiement de 20,5 millions de roupies indonésiennes, soit environ 12 000 dollars, promettant en échange un bonus de 35 % après paiement.

Une fois l’argent reçu, les escrocs sur Telegram vous bloquent et marquent le dossier comme clôturé.

À ce stade, vous pourriez penser que ce n’est pas si grave.

Les techniques d’escroquerie ne sont pas nouvelles, et les arnaques à la “porc” ont été décortiquées à plusieurs reprises ces dernières années. Ce qui est vraiment frappant, c’est l’organisation en arrière-plan.

Les enquêteurs d’OpenAI ont analysé les logs d’utilisation de ces comptes ChatGPT pour reconstituer une architecture complète :

Le parc de fraude est divisé en trois départements : le groupe d’attraction, le groupe d’accueil, et le groupe de supervision. L’équipe d’attraction diffuse des annonces pour attirer des victimes, l’équipe d’accueil construit la confiance via la chat, et la supervision orchestre la récolte finale.

Chaque jour, un rapport quotidien est généré. Il liste chaque victime en cours de traitement, le responsable, l’étape atteinte, et ce chiffre clé :

kill value.

C’est l’estimation du montant que le superviseur pense pouvoir extraire de cette victime.

Ils utilisent aussi ChatGPT pour analyser la comptabilité, générer des rapports de travail, voire demander comment accéder à une API ou modifier le code du site de rencontres. Lorsqu’un superviseur parle chinois et un employé indonésien, ChatGPT assure la traduction dans les deux sens.

Ce qui est amusant, c’est qu’un employé a même demandé à ChatGPT comment gérer la fiscalité après avoir reçu des revenus, en remplissant honnêtement la profession “scammer” (escroc).

Le rapport d’OpenAI est très réservé, indiquant qu’en se basant sur leurs logs, ces groupes pourraient gérer plusieurs centaines de cibles simultanément, avec des revenus quotidiens de plusieurs milliers de dollars. Mais ils précisent aussi qu’il n’est pas possible de vérifier indépendamment ces chiffres.

Personnellement, je pense qu’il n’est pas nécessaire de se focaliser sur la véracité des chiffres. La gestion même de cette opération est révélatrice :

Attraction, conversion, prix par client, rapports quotidiens, division des rôles — en changeant quelques termes, on dirait le manuel d’exploitation d’une SaaS.

Et tout ce qui concerne la romance, la traduction, la rédaction de rapports, la modification de code, la comptabilité… la majorité des tâches dans ce parc sont effectuées par un seul compte ChatGPT.

L’histoire ne s’arrête pas là.

Dans le même rapport, OpenAI détaille une seconde opération, nommée Operation False Witness (victime doublement escroquée), également au Cambodge.

Cette opération ne cible pas des victimes ordinaires, mais celles qui ont déjà été dupées.

Le principe est simple : si vous avez été victime d’une arnaque à la “porc” et souhaitez récupérer votre argent, vous cherchez en ligne des solutions.

Vous tombez sur une publicité pour un cabinet d’avocats prétendant aider les victimes à récupérer leurs pertes. Vous cliquez.

Le site semble crédible. Les avocats ont des photos volées sur les réseaux sociaux ou générées par IA. Chaque cabinet a une adresse, une licence, une présentation. ChatGPT a généré une carte de membre du Barreau de New York, ainsi qu’un faux registre d’inscription.

OpenAI a identifié au moins six faux cabinets.

Il y a aussi un site qui imite directement le centre de plainte pour crimes informatiques du FBI. Un bouton “Soumettre une plainte” vous redirige vers un compte Telegram.

Sur Telegram, le “avocat” commence à discuter avec vous. Le discours est généré par ChatGPT, en anglais américain, dans un ton professionnel. Il vous dit qu’ils collaborent avec la Cour pénale internationale, et que la récupération de fonds n’est pas facturée à l’avance.

Mais il faut payer 15 % de frais de service pour activer le compte, en crypto-monnaie.

Ils vous font aussi signer un accord de confidentialité, rédigé par ChatGPT, pour vous empêcher de vérifier ailleurs.

Le FBI a publié un avertissement officiel, indiquant que cette escroquerie cible principalement les personnes âgées, exploitant leur désir urgent de récupérer leurs pertes.

Après avoir vu ces deux cas, je pense que dans un environnement où l’IA est devenue la norme, la chose la plus ironique est la suivante :

La première fois, vous êtes une cible. La deuxième fois, vous êtes une cible encore meilleure, car vous avez déjà prouvé que vous pouvez tomber dans le panneau.

Enfin, dans le rapport, OpenAI résume le processus d’escroquerie en trois étapes :

Ping, pour attirer l’attention du cible ; Zing, pour susciter une émotion (excitation, peur) ; Sting, pour récolter l’argent.

Ce cadre est très bien pensé. En y regardant de près, quelle étape l’IA ne pourrait-elle pas réaliser ?

Autrefois, la plus grande dépense pour les arnaques à la “porc” était la main-d’œuvre. Il fallait embaucher une équipe pour discuter en face à face, parler la langue de la cible. Au Cambodge, ils recrutent encore des personnes parlant anglais, avec des salaires élevés.

Aujourd’hui, dans le cas de cette opération de rencontre, le superviseur parle chinois, l’employé parle indonésien, et la cible est indonienne aussi. La barrière linguistique est un obstacle insurmontable sans IA. Avec ChatGPT, tout est possible.

La langue n’est qu’une facette.

Le rapport mentionne aussi que certains fraudeurs ont même demandé à ChatGPT comment utiliser l’API d’OpenAI pour automatiser complètement la conversation.

Autrement dit, l’IA ne rend pas la fraude plus sophistiquée, elle la rend simplement moins chère.

Selon OpenAI, ce groupe pourrait gérer plusieurs centaines de cas simultanément. Avec une échelle plus grande, le coût par victime diminue, permettant de cibler plus de personnes à petits montants.

Un autre point à méditer : OpenAI peut détecter ces opérations parce que les groupes utilisent ChatGPT, et que les logs de chat sont stockés sur les serveurs d’OpenAI.

Mais qu’en est-il de ceux qui déploient des modèles open source en local ?

Ce rapport ne montre qu’une petite partie de l’ensemble. La majorité des activités reste invisible pour OpenAI. La taille de cette zone d’ombre est inconnue.