OpenAI: Галлюцинации ИИ возникают из-за стимулов в обучении

09.09.25 | 17:29

Исследователи OpenAI утверждают, что постоянная проблема «галлюцинаций» у чат-ботов ИИ связана с методами обучения и оценки языковых моделей, а не с какими-то загадочными техническими недостатками. В исследовании, опубликованном 4 сентября, компания по разработке искусственного интеллекта объясняет, что современные системы оценки по сути учат модели блефовать, а не признавать свою неуверенность, пишет Techcrunch.

В работе, опубликованной совместно с партнёрами из Технологического института Джорджии, основная причина такой проблемы объясняется фундаментальным несоответствием критериев оценки: даже продвинутые модели, такие как GPT-5, продолжают делать уверенные, но неверные заявления. «Галлюцинации» появляются не из-за конструктивных ошибок, а из-за факторов обучения, при которых модели поощряются за догадки, а не за честное указание на свою неуверенность.

Статистические истоки чрезмерно уверенных ошибок

В статье устанавливается математическая связь между галлюцинациями ИИ и ошибками бинарной классификации. Авторы Адам Тауман Калай, Офир Начум, Эдвин Чжан из OpenAI и Сантош Вемпала из Технологического института Джорджии демонстрируют, что даже при идеально подобранных тренировочных данных языковые модели неизбежно совершают ошибки из‑за своих внутренних статистических процессов.

«Галлюцинации не должны быть загадочными — они возникают просто как ошибки бинарной классификации», отмечают исследователи. Команда показывает, что произвольные факты, встречающиеся в тренировочных данных всего один раз, создают неизбежные пробелы в знаниях, и модели галлюцинируют с частотой, соответствующей этим «одиночным» случаям.

В качестве наглядного доказательства исследователи протестировали ведущие модели на простые вопросы о дне рождения Калая — одного из соавторов статьи. Несмотря на просьбу отвечать только «если известно», DeepSeek-V3, ChatGPT и другие системы выдали по три разных неверных даты, ни одна из которых не соответствовала правильному осеннему периоду.

Двоичная система оценивания поощряет угадывание

Современные ИИ-бенчмарки в основном используют бинарную систему оценки «правильно–неправильно», которая одинаково штрафует выражения неуверенности и неверные ответы. Это создаёт систематическое давление на модели, вынуждая их уверенно угадывать вместо того, чтобы признавать ограничения своих знаний, утверждается в исследовании.

«Языковые модели оптимизируются так, чтобы хорошо сдавать тесты, и угадывание в условиях неопределенности улучшает результаты тестирования», объясняют исследователи. Они сравнивают это со студентами на экзамене с несколькими вариантами ответа, где случайные догадки могут принести баллы, в то время как пустые ответы гарантируют нулевую оценку.

Команда проанализировала популярные оценочные фреймворки, включая GPQA, MMLU-Pro и SWE-bench, обнаружив, что практически все основные бенчмарки вознаграждают уверенное угадывание вместо уместного воздержания от ответа. Даже специализированные оценки галлюцинаций не могут преодолеть сотни основных тестов, которые штрафуют за проявление скромности.

Предлагаемое решение: Явные целевые уровни уверенности

Вместо разработки новых тестов, специально направленных на выявление галлюцинаций, исследователи предлагают модифицировать существующие системы оценки, чтобы явно поощрять выражение неопределённости. Их предложенный подход включает использование порогов уверенности с указанием штрафов за неправильные ответы и наград за правильные ответы и воздержание от ответа.

Пример инструкции может звучать так: «Отвечайте только если вы уверены более чем на 75%, поскольку за ошибку вы теряете 2 балла; за правильный ответ получаете 1 балл; “Не знаю” приносит 0 баллов». Такой подход к поведенческой калибровке напоминает исторические стандартизированные тесты с отрицательным оцениванием, чтобы избежать слепого угадывания.

В исследовании показано, что модели с уровнем воздержания в 52% дают существенно меньше неправильных ответов, чем те, что воздерживаются только в 1% случаев, даже если метрики точности кажутся ниже.

В OpenAI признают, что это представляет собой «социотехническую» задачу, требующую общепромышленного внедрения модифицированных стандартов оценки, а не чисто технических решений для создания более надёжных ИИ-систем.