OpenAI publicó un informe en los últimos dos días de que alguien fue arrestado por hacer cosas malas con ChatGPT.
El informe es extenso y enumera un gran número de casos de mal uso de la IA. Hay rusos involucrados en propaganda falsa y presuntos espías dedicados a la ingeniería social, pero hoy quiero hablar de uno de los casos:
Placa de caza de cerdos camboyanos.
No es raro matar platos de cerdos, y todo el mundo ha oído demasiadas historias sobre los parques camboyanos. Lo extraño es el papel de la IA en ello.
En esta banda de estafadores, ChatGPT es responsable de enamorarse, traducir las instrucciones del supervisor, redactar informes entre semana cada día y valorar a cada víctima.
En la placa de matanza de cerdos, el término interno se llama valor de sacrificio, que es una estimación de cuánto dinero se puede exprimir de ti.
En toda la cadena de montaje, ChatGPT probablemente sea el empleado más ocupado en ella.
OpenAI dio al proyecto un nombre en clave llamado Operación Date Bait.
Este es el proceso.
La banda de estafadores creó primero un servicio de citas falso de alta gama llamado Klub Romantis, con un logo hecho de ChatGPT. Luego pusieron anuncios pagados en redes sociales, con palabras clave golf, yates y restaurantes de alta gama, dirigidos específicamente a jóvenes indonesios.
Haces clic en el anuncio y empiezas hablando con un chatbot de IA. El robot finge ser sexy en la recepción, te deja elegir qué tipo de chica te gusta y te da un enlace de Telegram con un código de invitación exclusivo.
Una vez en Telegram, personas reales empezaron a tomar el control.
La recepcionista sigue usando ChatGPT para generar mensajes ambiguos, volviéndose cada vez más explícitos a medida que chateas, y luego te dirige a dos plataformas de citas falsas, una llamada LoveCode y otra llamada SexAction.
Hay un montón de información falsa sobre chicas en la plataforma, y hay una barra de mensajes que se desplaza y sigue emitiendo “Enhorabuena a fulanito por completar la tarea y desbloquear el bono”. Todo es inventado, y puede que lo veas de un vistazo si tienes experiencia navegando por internet, pero no todos los grupos objetivo no se dejarán engañar.
La conversación está en marcha y la recepcionista te traslada a un “mentor”. El mentor empezó a pedirte que hicieras “tareas”, cada tarea tenía que ser cargada con dinero, y la cantidad aumentaba cada vez más. Compra tarjetas VIP, vota por las “chicas favoritas”, paga las fianzas del hotel y hay muchos nombres.
El último paso, se llaman matar internamente.
Inventa una razón, qué errores de procesamiento de datos, qué depósito de verificación te permite transferir una gran cantidad de una sola vez. OpenAI incluyó en el informe una carta enviada a las víctimas por una banda fraudulenta, solicitando un pago de 20,5 millones de rupias, equivalente a unos 12.000 dólares, y diciendo que el 35% del bono se devolvería tras el pago.
Cuando llega el dinero, el estafador en Telegram te bloqueará y te dará una notificación de que el caso ha sido cerrado.
Viendo esto, puede que pienses que no es nada.
El truco en sí no es nuevo, y la rutina de matar cerdos se ha retomado muchas veces en los últimos años. Lo que realmente sorprendió a la gente fue el backstage.
Los investigadores de OpenAI han creado una arquitectura empresarial completa a partir de los registros de uso de estas cuentas de ChatGPT:
El parque de fraudes está dividido en tres departamentos: grupo de drenaje, grupo de recepción y grupo de supervisión. El equipo de drenaje es responsable de anunciar y atraer gente, el equipo de recepción se encarga de charlar para generar confianza, y el equipo supervisor se encarga de la cosecha final.
Hay un periódico diario. El informe diario enumera a cada víctima procesada, junto a los responsables, en qué avance ha avanzado y el número:
valor de eliminación.
Es la cantidad estimada por el supervisor que puede extraerse de esta persona.
También utilizan ChatGPT para analizar cuentas financieras, generar informes de trabajo e incluso preguntar a ChatGPT cómo conectarse a APIs y cambiar el código de los sitios de citas. En situaciones donde los supervisores hablan chino y los empleados hablan indonesio, ChatGPT es responsable de la traducción en ambas partes.
Lo curioso es que un empleado de fraude electrónico usó ChatGPT para preguntar por impuestos tras obtener ingresos, y la columna de ocupaciones estaba claramente llena como estafador.
El informe de OpenAI fue contenido, diciendo que, basándose en los propios registros de entrada de los estafadores, podrían estar procesando cientos de objetivos al mismo tiempo, ganando miles de dólares al día. Pero el informe también señaló que era imposible verificar de forma independiente si estas cifras eran ciertas.
Sin embargo, creo que no hay necesidad de preocuparse por si los números son ciertos o no, basta con mirar este conjunto de procesos de gestión:
Drenaje, conversión, precio por unidad de cliente, informe diario, división departamental del trabajo, cambiar la terminología, crees que estás mirando el manual de operaciones de una empresa SaaS.
Y enamorarse, traducir, escribir periódicos diarios, cambiar códigos, ajustar cuentas… La mayor parte del trabajo en este campus se realiza con una cuenta de ChatGPT.
La historia no termina aquí.
OpenAI también eliminó una segunda línea en el mismo informe, con nombre en clave Operación Falso Testigo (fraude secundario de víctima), también de Camboya.
Esta frase no va dirigida a personas corrientes, sino a personas que ya han sido engañadas.
La lógica es muy simple: te han estafado el dinero con la placa de caza de cerdos, quieres recuperarlo, ¿qué deberías hacer si buscas en Internet?
Luego ves un anuncio que dice que se especializa en ayudar a las víctimas de estafas a recuperar sus pérdidas. Entras con el clic.
La web hace muchas cosas. Algunas de las fotos de los abogados son avatares reales robados de las redes sociales, mientras que otras son generadas por IA. Cada despacho de abogados tiene dirección, licencia y perfil. ChatGPT generó tarjetas de socio para la Asociación de Abogados del Estado de Nueva York y también generó registros falsos de registro de abogados.
OpenAI ha encontrado al menos seis despachos de abogados falsos.
También hay una página web que se hace pasar directamente por el Centro de Denuncias por Delitos en Internet del FBI. Hay un botón de “Enviar una queja” en la página, y puedes hacer clic en él para acceder a una cuenta de Telegram.
En Telegram, el “abogado” empieza a hablar contigo. El discurso es generado por ChatGPT y se pide específicamente que esté escrito en “inglés americano” en un tono que imita al de un abogado profesional. Te dicen que cooperamos con la Corte Penal Internacional y que no hay cargos antes de recuperar los fondos.
Pero tienes que pagar una comisión del 15% para activar la cuenta y pagar en criptomonedas.
También te permiten firmar un acuerdo de confidencialidad. Este acuerdo de confidencialidad también fue redactado por ChatGPT para evitar que verifiqués.
Posteriormente, el FBI emitió una advertencia pública específicamente sobre el incidente, afirmando que la estafa se dirigía principalmente a los ancianos y aprovechó el deseo de las víctimas por recuperar sus pérdidas.
Después de leer estos dos casos, creo que en el entorno actual donde la IA se ha vuelto estándar, aquí va la sonrisa más irónica:
La primera vez que te mientes, eres un objetivo. Eres mejor objetivo la segunda vez que te estafan porque has demostrado que te van a engañar.
Finalmente, OpenAI resumió el proceso de fraude en tres pasos del informe.
El primer paso se llama ping, cold reach, y encontrar la manera de que el objetivo te note. El segundo paso se llama zing, que genera emociones que te emocionan, te emocionan o te asustan. El tercer paso se llama sting, cosecha, tomar el dinero.
Este marco está muy bien resumido, mira más de cerca, ¿cuál de estos tres pasos no puede ser realizado por la IA?
En el pasado, el mayor coste de la matanza de cerdos eran las personas. Tienes que contratar una sala con gente para que se siente frente al ordenador y charle, y tienes que hablar el idioma objetivo. El parque camboyano reclutaba gente en los primeros años, y también elegía buen inglés, y el salario era alto.
Ahora, al analizar el caso de fraude en las citas mencionado en el informe, el supervisor habla chino, el empleado habla indonesio y el objetivo también es indonesio. Las tres partes no entendían el idioma, así que no podían hacer este trabajo antes. Añade un ChatGPT y está todo hecho.
El idioma es una de esas cosas.
También hay un detalle en el informe de que el estafador incluso preguntó a ChatGPT cómo conectarse a la API de OpenAI, intentando automatizar completamente la sesión de chat.
En otras palabras, la IA no hace que el engaño sea inteligente, el engaño sigue siendo esos engaños. La IA está abaratando el engaño.
Ahora, según OpenAI, la banda podría estar lidiando con cientos de casos de estafa a la vez. A medida que aumenta la escala, el coste laboral compartido por una sola víctima disminuye, lo que naturalmente engaña a más personas con precios unitarios más bajos.
Hay otra pregunta que creo que merece la pena reflexionar.
OpenAI pudo descubrir esto porque la banda de fraudes usó ChatGPT, y los registros de chat se almacenaron en los servidores de OpenAI.
¿Y qué pasa con quienes usan modelos de código abierto locales?
Lo que este informe puede presentar puede ser solo una pequeña pieza del rompecabezas que OpenAI puede ver. Nadie sabe lo grande que es el lugar que no puede ser iluminado.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
En esta estafa, la IA se encarga de enamorar y también de falsificar licencias de abogado
Por Curry, Deep Tide TechFlow
OpenAI publicó un informe en los últimos dos días de que alguien fue arrestado por hacer cosas malas con ChatGPT.
El informe es extenso y enumera un gran número de casos de mal uso de la IA. Hay rusos involucrados en propaganda falsa y presuntos espías dedicados a la ingeniería social, pero hoy quiero hablar de uno de los casos:
Placa de caza de cerdos camboyanos.
No es raro matar platos de cerdos, y todo el mundo ha oído demasiadas historias sobre los parques camboyanos. Lo extraño es el papel de la IA en ello.
En esta banda de estafadores, ChatGPT es responsable de enamorarse, traducir las instrucciones del supervisor, redactar informes entre semana cada día y valorar a cada víctima.
En la placa de matanza de cerdos, el término interno se llama valor de sacrificio, que es una estimación de cuánto dinero se puede exprimir de ti.
En toda la cadena de montaje, ChatGPT probablemente sea el empleado más ocupado en ella.
OpenAI dio al proyecto un nombre en clave llamado Operación Date Bait.
Este es el proceso.
La banda de estafadores creó primero un servicio de citas falso de alta gama llamado Klub Romantis, con un logo hecho de ChatGPT. Luego pusieron anuncios pagados en redes sociales, con palabras clave golf, yates y restaurantes de alta gama, dirigidos específicamente a jóvenes indonesios.
Haces clic en el anuncio y empiezas hablando con un chatbot de IA. El robot finge ser sexy en la recepción, te deja elegir qué tipo de chica te gusta y te da un enlace de Telegram con un código de invitación exclusivo.
Una vez en Telegram, personas reales empezaron a tomar el control.
La recepcionista sigue usando ChatGPT para generar mensajes ambiguos, volviéndose cada vez más explícitos a medida que chateas, y luego te dirige a dos plataformas de citas falsas, una llamada LoveCode y otra llamada SexAction.
Hay un montón de información falsa sobre chicas en la plataforma, y hay una barra de mensajes que se desplaza y sigue emitiendo “Enhorabuena a fulanito por completar la tarea y desbloquear el bono”. Todo es inventado, y puede que lo veas de un vistazo si tienes experiencia navegando por internet, pero no todos los grupos objetivo no se dejarán engañar.
La conversación está en marcha y la recepcionista te traslada a un “mentor”. El mentor empezó a pedirte que hicieras “tareas”, cada tarea tenía que ser cargada con dinero, y la cantidad aumentaba cada vez más. Compra tarjetas VIP, vota por las “chicas favoritas”, paga las fianzas del hotel y hay muchos nombres.
El último paso, se llaman matar internamente.
Inventa una razón, qué errores de procesamiento de datos, qué depósito de verificación te permite transferir una gran cantidad de una sola vez. OpenAI incluyó en el informe una carta enviada a las víctimas por una banda fraudulenta, solicitando un pago de 20,5 millones de rupias, equivalente a unos 12.000 dólares, y diciendo que el 35% del bono se devolvería tras el pago.
Cuando llega el dinero, el estafador en Telegram te bloqueará y te dará una notificación de que el caso ha sido cerrado.
Viendo esto, puede que pienses que no es nada.
El truco en sí no es nuevo, y la rutina de matar cerdos se ha retomado muchas veces en los últimos años. Lo que realmente sorprendió a la gente fue el backstage.
Los investigadores de OpenAI han creado una arquitectura empresarial completa a partir de los registros de uso de estas cuentas de ChatGPT:
El parque de fraudes está dividido en tres departamentos: grupo de drenaje, grupo de recepción y grupo de supervisión. El equipo de drenaje es responsable de anunciar y atraer gente, el equipo de recepción se encarga de charlar para generar confianza, y el equipo supervisor se encarga de la cosecha final.
Hay un periódico diario. El informe diario enumera a cada víctima procesada, junto a los responsables, en qué avance ha avanzado y el número:
valor de eliminación.
Es la cantidad estimada por el supervisor que puede extraerse de esta persona.
También utilizan ChatGPT para analizar cuentas financieras, generar informes de trabajo e incluso preguntar a ChatGPT cómo conectarse a APIs y cambiar el código de los sitios de citas. En situaciones donde los supervisores hablan chino y los empleados hablan indonesio, ChatGPT es responsable de la traducción en ambas partes.
Lo curioso es que un empleado de fraude electrónico usó ChatGPT para preguntar por impuestos tras obtener ingresos, y la columna de ocupaciones estaba claramente llena como estafador.
El informe de OpenAI fue contenido, diciendo que, basándose en los propios registros de entrada de los estafadores, podrían estar procesando cientos de objetivos al mismo tiempo, ganando miles de dólares al día. Pero el informe también señaló que era imposible verificar de forma independiente si estas cifras eran ciertas.
Sin embargo, creo que no hay necesidad de preocuparse por si los números son ciertos o no, basta con mirar este conjunto de procesos de gestión:
Drenaje, conversión, precio por unidad de cliente, informe diario, división departamental del trabajo, cambiar la terminología, crees que estás mirando el manual de operaciones de una empresa SaaS.
Y enamorarse, traducir, escribir periódicos diarios, cambiar códigos, ajustar cuentas… La mayor parte del trabajo en este campus se realiza con una cuenta de ChatGPT.
La historia no termina aquí.
OpenAI también eliminó una segunda línea en el mismo informe, con nombre en clave Operación Falso Testigo (fraude secundario de víctima), también de Camboya.
Esta frase no va dirigida a personas corrientes, sino a personas que ya han sido engañadas.
La lógica es muy simple: te han estafado el dinero con la placa de caza de cerdos, quieres recuperarlo, ¿qué deberías hacer si buscas en Internet?
Luego ves un anuncio que dice que se especializa en ayudar a las víctimas de estafas a recuperar sus pérdidas. Entras con el clic.
La web hace muchas cosas. Algunas de las fotos de los abogados son avatares reales robados de las redes sociales, mientras que otras son generadas por IA. Cada despacho de abogados tiene dirección, licencia y perfil. ChatGPT generó tarjetas de socio para la Asociación de Abogados del Estado de Nueva York y también generó registros falsos de registro de abogados.
OpenAI ha encontrado al menos seis despachos de abogados falsos.
También hay una página web que se hace pasar directamente por el Centro de Denuncias por Delitos en Internet del FBI. Hay un botón de “Enviar una queja” en la página, y puedes hacer clic en él para acceder a una cuenta de Telegram.
En Telegram, el “abogado” empieza a hablar contigo. El discurso es generado por ChatGPT y se pide específicamente que esté escrito en “inglés americano” en un tono que imita al de un abogado profesional. Te dicen que cooperamos con la Corte Penal Internacional y que no hay cargos antes de recuperar los fondos.
Pero tienes que pagar una comisión del 15% para activar la cuenta y pagar en criptomonedas.
También te permiten firmar un acuerdo de confidencialidad. Este acuerdo de confidencialidad también fue redactado por ChatGPT para evitar que verifiqués.
Posteriormente, el FBI emitió una advertencia pública específicamente sobre el incidente, afirmando que la estafa se dirigía principalmente a los ancianos y aprovechó el deseo de las víctimas por recuperar sus pérdidas.
Después de leer estos dos casos, creo que en el entorno actual donde la IA se ha vuelto estándar, aquí va la sonrisa más irónica:
La primera vez que te mientes, eres un objetivo. Eres mejor objetivo la segunda vez que te estafan porque has demostrado que te van a engañar.
Finalmente, OpenAI resumió el proceso de fraude en tres pasos del informe.
El primer paso se llama ping, cold reach, y encontrar la manera de que el objetivo te note. El segundo paso se llama zing, que genera emociones que te emocionan, te emocionan o te asustan. El tercer paso se llama sting, cosecha, tomar el dinero.
Este marco está muy bien resumido, mira más de cerca, ¿cuál de estos tres pasos no puede ser realizado por la IA?
En el pasado, el mayor coste de la matanza de cerdos eran las personas. Tienes que contratar una sala con gente para que se siente frente al ordenador y charle, y tienes que hablar el idioma objetivo. El parque camboyano reclutaba gente en los primeros años, y también elegía buen inglés, y el salario era alto.
Ahora, al analizar el caso de fraude en las citas mencionado en el informe, el supervisor habla chino, el empleado habla indonesio y el objetivo también es indonesio. Las tres partes no entendían el idioma, así que no podían hacer este trabajo antes. Añade un ChatGPT y está todo hecho.
El idioma es una de esas cosas.
También hay un detalle en el informe de que el estafador incluso preguntó a ChatGPT cómo conectarse a la API de OpenAI, intentando automatizar completamente la sesión de chat.
En otras palabras, la IA no hace que el engaño sea inteligente, el engaño sigue siendo esos engaños. La IA está abaratando el engaño.
Ahora, según OpenAI, la banda podría estar lidiando con cientos de casos de estafa a la vez. A medida que aumenta la escala, el coste laboral compartido por una sola víctima disminuye, lo que naturalmente engaña a más personas con precios unitarios más bajos.
Hay otra pregunta que creo que merece la pena reflexionar.
OpenAI pudo descubrir esto porque la banda de fraudes usó ChatGPT, y los registros de chat se almacenaron en los servidores de OpenAI.
¿Y qué pasa con quienes usan modelos de código abierto locales?
Lo que este informe puede presentar puede ser solo una pequeña pieza del rompecabezas que OpenAI puede ver. Nadie sabe lo grande que es el lugar que no puede ser iluminado.