Chain of Thought представляют собой особый вычислительный механизм расширения контекста, а не аналог человеческого мышления
На фоне бурного развития больших рассуждающих моделей (Large Reasoning Models, LRM) группа исследователей под руководством Суббарао Камбхампати из Университета штата Аризона опубликовала работу, в которой подвергается критике одна из самых популярных идей современной индустрии ИИ: предположение о том, что промежуточные цепочки рассуждений нейросетей отражают их реальный процесс мышления.
Авторы отмечают, что современные модели, такие как OpenAI o1 и DeepSeek R1, создают убедительную иллюзию когнитивного процесса, генерируя длинные последовательности промежуточных токенов — Chain of Thought (CoT). Однако с точки зрения архитектуры трансформеров эти последовательности не являются классическим механизмом логического вывода. Они представляют собой результат статистического прогнозирования следующего токена на основе предыдущего контекста.
Особое внимание исследователи уделяют феномену так называемого «момента озарения» (Aha-moment), который часто появляется в ответах рассуждающих моделей в виде фраз вроде «Ага, теперь я понял». Авторы подчёркивают, что на уровне внутреннего состояния нейросети в этот момент не происходит никакого качественного изменения вычислений. Такие конструкции являются лишь культурной имитацией человеческого стиля мышления, усвоенной моделью в ходе обучения на огромных массивах текстов.
С технической точки зрения работа рассматривает современные модели через призму обучения с подкреплением на основе проверяемых вознаграждений (Reinforcement Learning with Verifiable Rewards, RLVR). При таком подходе система оптимизируется исключительно на получение правильного конечного ответа. Промежуточные токены не имеют собственной семантической функции и не проходят отдельной проверки на корректность. Авторы предлагают рассматривать их как форму адаптивного расширения контекста — своеобразный механизм, позволяющий модели преобразовать исходную задачу в такую последовательность токенов, в которой вероятность получения правильного ответа становится статистически выше.
Для проверки этой гипотезы исследователи использовали задачи, допускающие формальную верификацию, включая навигацию в лабиринтах и поиск кратчайших путей с помощью алгоритмов семейства A*. Результаты оказались неожиданными: модели демонстрировали высокую точность не только при наличии корректных рассуждений, но и тогда, когда цепочки объяснений полностью заменялись на неверные или переставленные. Производительность резко снижалась лишь при случайном смешивании различных шаблонов рассуждений.
Авторы называют этот эффект «U-образной зависимостью». Он свидетельствует о том, что модель ориентируется не на внутреннюю логику собственных объяснений, а на статистическую структуру текста. Иными словами, система не «читает» свои рассуждения так, как это делает человек, а использует их как дополнительный шаблон для генерации ответа.
Ещё одним аргументом стали эксперименты с так называемыми no-maze instances — искусственно упрощёнными лабиринтами, в которых между стартом и целью отсутствуют препятствия. Несмотря на тривиальность задачи, модели часто генерировали многостраничные цепочки рассуждений. По мнению авторов, это опровергает популярную гипотезу о том, что длина рассуждений отражает объём вычислительных усилий. Скорее, речь идёт об артефакте обучающей выборки, в которой сложные задачи статистически коррелировали с длинными объяснениями.
Исследователи также подвергают критике концепцию интерпретируемости современных LLM через анализ промежуточных токенов. Они предупреждают, что убедительные объяснения создают опасный эффект ложного доверия (false trust): пользователи начинают воспринимать правдоподобный текст как доказательство корректности работы системы. Особенно опасным это может стать в медицине, инженерии и праве, где человек физически не способен в реальном времени проверить десятки страниц автоматически сгенерированных рассуждений.
По мнению авторов, индустрия искусственного интеллекта оказалась в своеобразной ловушке «театра рассуждений», когда ресурсы тратятся на создание всё более человекоподобных объяснений вместо разработки архитектур с формально проверяемым логическим выводом. В качестве альтернативы они предлагают подходы класса LLM-Modulo, в которых языковые модели используются лишь как генераторы гипотез, а проверка корректности выполняется внешними математически строгими алгоритмами и системами верификации.
Главный вывод работы заключается в том, что современные цепочки рассуждений не следует считать окном во внутренний мир искусственного интеллекта. Авторы предлагают отказаться от антропоморфизации промежуточных токенов и перейти к новой парадигме оценки ИИ, в которой качество системы определяется не убедительностью её «внутреннего монолога», а способностью выдавать результаты, корректность которых может быть независимо подтверждена.