OpenAI publicó un nuevo artículo de investigación, afirmando que aunque los modelos de lenguaje de gran tamaño (LLM) como GPT-5 han avanzado considerablemente, las "alucinaciones de IA" (Hallucinations) siguen siendo un problema fundamental, incluso imposibles de eliminar por completo. El equipo de investigación, a través de experimentos, reveló que los modelos, al responder a preguntas específicas, pueden estar muy seguros de sí mismos pero dar respuestas completamente erróneas, y propuso un nuevo plan de "mecanismo de evaluación" para reformar, con la esperanza de reducir la situación de "adivinanza" de los modelos.
Los investigadores probaron diferentes preguntas del modelo de IA, y todas las respuestas fueron incorrectas.
Los investigadores preguntaron a un chatbot ampliamente utilizado sobre el título de una disertación doctoral, y obtuvieron tres respuestas consecutivas, todas incorrectas. Luego, preguntaron por su fecha de nacimiento, y el chatbot también proporcionó tres fechas diferentes, y todas resultaron ser incorrectas.
Investigaciones muestran que los modelos de IA, al enfrentarse a "información muy poco común" en algunos datos, se sienten muy seguros al dar respuestas, pero están completamente equivocados.
El mecanismo de preentrenamiento solo aprende "la superficie del lenguaje", sin entender la veracidad de los hechos.
La investigación señala que el proceso de preentrenamiento del modelo se realiza a través de una gran cantidad de texto para "predecir la siguiente palabra", pero los datos no están etiquetados como "verdadero o falso". En otras palabras, el modelo solo aprende la superficie del lenguaje, y no la veracidad de los hechos.
Las cosas con alta regularidad como la ortografía o los paréntesis, a medida que el tamaño del modelo aumenta, los errores desaparecerán gradualmente.
Pero información con alta aleatoriedad como "el cumpleaños de alguien" no se puede inferir a través de patrones de lenguaje, por lo tanto, es fácil generar ilusiones.
Se anima a los modelos de IA a "adivinar ciegamente", es necesario corregir el modo de evaluación del modelo.
La investigación enfatiza que la forma de evaluación debe cambiar drásticamente, no se trata simplemente de ver si es "correcto o incorrecto", sino que se debe castigar severamente aquellas respuestas que son incorrectas pero dadas con mucha confianza, y recompensar a la IA por "decir honestamente que no sabe". En otras palabras, la IA debería ser penalizada más por dar respuestas incorrectas que por admitir que no sabe.
Por otro lado, si responde "no estoy seguro", también debería obtener algunos puntos en lugar de ser calificado con cero directamente. Y esto no puede ser simplemente añadir algunas pruebas para hacer acto de presencia, sino que debe derrocar completamente el sistema de evaluación actual que solo considera la tasa de respuestas correctas. Sin corregir el método de evaluación, la IA solo seguirá adivinando al azar.
La investigación finalmente indica que para reducir las ilusiones, es necesario comenzar desde el sistema de evaluación, estableciendo formas de prueba que realmente fomenten "cautela y honestidad". En lugar de exigir que la IA "acierte cada vez", es más importante establecer un conjunto de reglas del juego que acepte que la IA "no sabe".
(2025 Último análisis completo de los cinco principales LLM, comprendiendo pagos, aplicaciones y seguridad de una sola vez )
Este artículo OpenAI Última investigación: Por qué GPT-5 y otros LLM aún dirán tonterías apareció por primera vez en Chain News ABMedia.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Investigación reciente de OpenAI: por qué GPT-5 y otros LLM siguen diciendo tonterías
OpenAI publicó un nuevo artículo de investigación, afirmando que aunque los modelos de lenguaje de gran tamaño (LLM) como GPT-5 han avanzado considerablemente, las "alucinaciones de IA" (Hallucinations) siguen siendo un problema fundamental, incluso imposibles de eliminar por completo. El equipo de investigación, a través de experimentos, reveló que los modelos, al responder a preguntas específicas, pueden estar muy seguros de sí mismos pero dar respuestas completamente erróneas, y propuso un nuevo plan de "mecanismo de evaluación" para reformar, con la esperanza de reducir la situación de "adivinanza" de los modelos.
Los investigadores probaron diferentes preguntas del modelo de IA, y todas las respuestas fueron incorrectas.
Los investigadores preguntaron a un chatbot ampliamente utilizado sobre el título de una disertación doctoral, y obtuvieron tres respuestas consecutivas, todas incorrectas. Luego, preguntaron por su fecha de nacimiento, y el chatbot también proporcionó tres fechas diferentes, y todas resultaron ser incorrectas.
Investigaciones muestran que los modelos de IA, al enfrentarse a "información muy poco común" en algunos datos, se sienten muy seguros al dar respuestas, pero están completamente equivocados.
El mecanismo de preentrenamiento solo aprende "la superficie del lenguaje", sin entender la veracidad de los hechos.
La investigación señala que el proceso de preentrenamiento del modelo se realiza a través de una gran cantidad de texto para "predecir la siguiente palabra", pero los datos no están etiquetados como "verdadero o falso". En otras palabras, el modelo solo aprende la superficie del lenguaje, y no la veracidad de los hechos.
Las cosas con alta regularidad como la ortografía o los paréntesis, a medida que el tamaño del modelo aumenta, los errores desaparecerán gradualmente.
Pero información con alta aleatoriedad como "el cumpleaños de alguien" no se puede inferir a través de patrones de lenguaje, por lo tanto, es fácil generar ilusiones.
Se anima a los modelos de IA a "adivinar ciegamente", es necesario corregir el modo de evaluación del modelo.
La investigación enfatiza que la forma de evaluación debe cambiar drásticamente, no se trata simplemente de ver si es "correcto o incorrecto", sino que se debe castigar severamente aquellas respuestas que son incorrectas pero dadas con mucha confianza, y recompensar a la IA por "decir honestamente que no sabe". En otras palabras, la IA debería ser penalizada más por dar respuestas incorrectas que por admitir que no sabe.
Por otro lado, si responde "no estoy seguro", también debería obtener algunos puntos en lugar de ser calificado con cero directamente. Y esto no puede ser simplemente añadir algunas pruebas para hacer acto de presencia, sino que debe derrocar completamente el sistema de evaluación actual que solo considera la tasa de respuestas correctas. Sin corregir el método de evaluación, la IA solo seguirá adivinando al azar.
La investigación finalmente indica que para reducir las ilusiones, es necesario comenzar desde el sistema de evaluación, estableciendo formas de prueba que realmente fomenten "cautela y honestidad". En lugar de exigir que la IA "acierte cada vez", es más importante establecer un conjunto de reglas del juego que acepte que la IA "no sabe".
(2025 Último análisis completo de los cinco principales LLM, comprendiendo pagos, aplicaciones y seguridad de una sola vez )
Este artículo OpenAI Última investigación: Por qué GPT-5 y otros LLM aún dirán tonterías apareció por primera vez en Chain News ABMedia.