Apple Machine Learning Research опубликовала исследование о «коммуникационном узком месте» языковых моделей

Apple Machine Learning Research опубликовала в сентябре 2026 года работу «The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models». В ней исследуется, насколько хорошо структурированное арифметическое содержание сохраняется при передаче через естественный язык.

В протоколе генератор превращает процедурно созданное арифметическое выражение в текстовую задачу, а отдельный экстрактор восстанавливает выражение по её тексту; результат сверяют на символьную эквивалентность. Авторы оценили все попарные сочетания шестнадцати моделей и составили матрицу коммуникации.

Согласно результатам работы, точность менялась до 60,4 процентного пункта, когда модели менялись ролями генератора и экстрактора; лучшая пара показала 92,9%. Авторы также сообщают, что не менее 73,6% ошибок в цикле передачи возникли на этапе генерации.

По описанию исследования, около 3600 примеров для дообучения подняли каждую открытую модель выше Gemini-3.1-Pro без обучения при совпадающей семантике. Проверка с новыми операторами и словарём также улучшила результаты открытых моделей.