В языковой модели нашли «рабочее пространство»: небольшой набор мыслей, о которых она может сказать
В когнитивной науке есть теория «глобального рабочего пространства»: из огромного объёма автоматической работы мозга в сознание попадает лишь небольшой набор мыслей, с которыми можно рассуждать и о которых можно рассказать. Исследователи Anthropic нашли похожую структуру в языковых моделях Claude. Работа опубликована 6 июля 2026 года.
Что именно исследовали
Модель одновременно обрабатывает огромное количество информации, но далеко не всё из этого она может «проговорить». Авторы искали, есть ли внутри особая область с понятиями, доступными для сообщения и рассуждения.
Основной объект — Claude Sonnet 4.5; выводы проверены также на Haiku 4.5, Opus 4.5 и Opus 4.6.
Как это работает
Авторы разработали метод «линзы Якоби». Он оценивает, как состояние модели на каждом слое влияет на будущие слова, усреднённо по тысяче разных запросов. Так находятся направления, которые модель может «произнести», — и их набор назвали J-пространством.
Дальше — проверка вмешательством: что будет, если J-пространство отключить? Если это действительно «рабочий стол» рассуждений, пострадать должны именно задачи, где нужно держать в уме промежуточный шаг.
Что ИИ теперь умеет
- Удерживать около 25 понятий одновременно в выделенном «рабочем пространстве»
- Использовать эти понятия для промежуточных шагов многошагового рассуждения
- Применять одно и то же понятие в разных дальнейших операциях
- Для исследователей: находить в модели понятия, доступные для сообщения, и отделять их от автоматической обработки
Что показал эксперимент
Маленький, но решающий. На J-пространство приходится лишь около 6–7% разброса внутренних векторов понятий, но влияние на ответы у него сильное.
Около 25 понятий. Примерно столько активных понятий пространство вмещает одновременно.
Проверка отключением. Без J-пространства многошаговые рассуждения падали с почти идеального уровня почти до нуля, а автоматические задачи оставались в основном нетронутыми.
Что пока не работает
- Метод находит только понятия, которые выражаются одним словом-токеном, и пропускает многословные.
- Найденное пространство может неполно отражать реальную структуру внутри модели.
- Содержимое ранних слоёв может оставаться незамеченным.
- Сходство с теорией сознания у человека — функциональная аналогия, а не утверждение, что у модели есть сознание.
Почему это важно
Если рассуждения модели проходят через узкое «рабочее пространство», за ним можно следить. Это даёт интерпретируемости конкретное место, куда смотреть, чтобы понять, о чём модель «думает» во время решения задачи.
Оригинальное исследование
Verbalizable Representations Form a Global Workspace in Language Models
- Авторы
- Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar и др., Joshua Batson, Jack Lindsey
- Организация
- Anthropic
- Дата
- 6 июля 2026 г.
- Тип
- Технический отчёт или блог лаборатории
Ещё исследования
Исследователи заглянули внутрь нейросети и увидели, что она планирует ответ заранее
Anthropic построила «микроскоп» для языковой модели и проследила, как Claude 3.5 Haiku думает над ответом. Модель выбирает рифму до того, как начинает писать строку, считает в уме двумя параллельными путями и иногда подгоняет объяснение под готовый ответ.