OpenAI опублікувала останню дослідницьку статтю, прямо заявивши, що навіть якщо великі мовні моделі (LLM), такі як GPT-5, значно покращилися, проте «AI ілюзії» (Hallucinations) залишаються основною проблемою, і їх ніколи не вдасться повністю усунути. Дослідницька команда через експерименти виявила, що модель, відповідаючи на певні питання, може бути впевненою, але надавати абсолютно неправильні відповіді, і запропонувала нову реформу «механізму оцінки», сподіваючись зменшити випадки «безглуздого вгадування» моделі.
Дослідники тестують різні питання AI моделі, всі відповіді неправильні
Дослідники запитали широко використовуваний чат-бот про тему його докторської дисертації, і в результаті отримали три поспіль неправильні відповіді. Потім запитали його день народження, і бот знову дав три різні дати, і всі вони виявилися неправильними.
Дослідження показують, що моделі ШІ, стикаючись з "дуже рідкісною інформацією" в деяких даних, впевнено надають відповіді, але ці відповіді виявляються абсолютно неправильними.
Механізм попереднього навчання вивчає лише «поверхню мови», не розуміючи фактичну коректність.
Дослідження показали, що процес попереднього навчання моделі полягає в тому, щоб за допомогою великої кількості тексту «прогнозувати наступне слово», але в даних немає позначення «правда чи неправда». Іншими словами, модель лише вчиться поверхневій мові, а не фактичній правильності.
Слова або дужки, які мають високу регулярність, з ростом масштабів моделі помилки поступово зникнуть.
Але така інформація, як «день народження когось», має високий рівень випадковості, тому її не можна вивести за допомогою мовних моделей, що може призвести до ілюзій.
Моделі ШІ заохочуються до "сліпих вгадувань", необхідно виправити модель оцінки.
Дослідження підкреслює, що методи оцінювання потрібно суттєво змінити, акцентуючи увагу не лише на «правильно чи неправильно», а й на тому, що потрібно суворо карати ті впевнені у своїй невірності відповіді, та винагороджувати AI за те, що він «чесно зізнається, що не знає». Іншими словами, AI має отримувати менше балів за помилкові відповіді, ніж за визнання незнання.
Навпаки, якщо він відповідає «не впевнений», також слід отримати певну кількість балів, а не відразу зараховувати нуль. І це не може бути просто додавання кількох тестів для вигляду, а необхідно повністю зруйнувати теперішню систему оцінки, яка враховує лише відсоток правильних відповідей. Якщо не змінити спосіб оцінювання, ШІ лише продовжить випадкові здогадки.
Дослідження врешті-решт показало, що для зменшення ілюзій потрібно почати з оцінювальної системи, створивши тестування, яке дійсно заохочує «обережність і чесність». Замість того щоб вимагати від ШІ «правильно відповідати щоразу», важливіше встановити правила гри, які дозволяють ШІ «не знати».
(2025 Огляд п'яти основних LLM: платні послуги, застосування та безпека в одному місці )
Ця стаття OpenAI останніх досліджень: чому GPT-5 та інші LLM все ще можуть говорити нісенітницю вперше з'явилася на Ланцюг новин ABMedia.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Останні дослідження OpenAI: чому GPT-5 і інші LLM все ще можуть говорити нісенітниці
OpenAI опублікувала останню дослідницьку статтю, прямо заявивши, що навіть якщо великі мовні моделі (LLM), такі як GPT-5, значно покращилися, проте «AI ілюзії» (Hallucinations) залишаються основною проблемою, і їх ніколи не вдасться повністю усунути. Дослідницька команда через експерименти виявила, що модель, відповідаючи на певні питання, може бути впевненою, але надавати абсолютно неправильні відповіді, і запропонувала нову реформу «механізму оцінки», сподіваючись зменшити випадки «безглуздого вгадування» моделі.
Дослідники тестують різні питання AI моделі, всі відповіді неправильні
Дослідники запитали широко використовуваний чат-бот про тему його докторської дисертації, і в результаті отримали три поспіль неправильні відповіді. Потім запитали його день народження, і бот знову дав три різні дати, і всі вони виявилися неправильними.
Дослідження показують, що моделі ШІ, стикаючись з "дуже рідкісною інформацією" в деяких даних, впевнено надають відповіді, але ці відповіді виявляються абсолютно неправильними.
Механізм попереднього навчання вивчає лише «поверхню мови», не розуміючи фактичну коректність.
Дослідження показали, що процес попереднього навчання моделі полягає в тому, щоб за допомогою великої кількості тексту «прогнозувати наступне слово», але в даних немає позначення «правда чи неправда». Іншими словами, модель лише вчиться поверхневій мові, а не фактичній правильності.
Слова або дужки, які мають високу регулярність, з ростом масштабів моделі помилки поступово зникнуть.
Але така інформація, як «день народження когось», має високий рівень випадковості, тому її не можна вивести за допомогою мовних моделей, що може призвести до ілюзій.
Моделі ШІ заохочуються до "сліпих вгадувань", необхідно виправити модель оцінки.
Дослідження підкреслює, що методи оцінювання потрібно суттєво змінити, акцентуючи увагу не лише на «правильно чи неправильно», а й на тому, що потрібно суворо карати ті впевнені у своїй невірності відповіді, та винагороджувати AI за те, що він «чесно зізнається, що не знає». Іншими словами, AI має отримувати менше балів за помилкові відповіді, ніж за визнання незнання.
Навпаки, якщо він відповідає «не впевнений», також слід отримати певну кількість балів, а не відразу зараховувати нуль. І це не може бути просто додавання кількох тестів для вигляду, а необхідно повністю зруйнувати теперішню систему оцінки, яка враховує лише відсоток правильних відповідей. Якщо не змінити спосіб оцінювання, ШІ лише продовжить випадкові здогадки.
Дослідження врешті-решт показало, що для зменшення ілюзій потрібно почати з оцінювальної системи, створивши тестування, яке дійсно заохочує «обережність і чесність». Замість того щоб вимагати від ШІ «правильно відповідати щоразу», важливіше встановити правила гри, які дозволяють ШІ «не знати».
(2025 Огляд п'яти основних LLM: платні послуги, застосування та безпека в одному місці )
Ця стаття OpenAI останніх досліджень: чому GPT-5 та інші LLM все ще можуть говорити нісенітницю вперше з'явилася на Ланцюг новин ABMedia.