ИИ-агенты справляются со всё более длинными задачами: срок удваивается примерно каждые семь месяцев

Бенчмарки быстро «насыщаются»: модели набирают почти максимум, и тест перестаёт различать их. К тому же проценты не переводятся в человеческие мерки.

Авторы ввели метрику «горизонт задач при 50% успеха» — длину задач по времени специалиста, с которыми модель справляется в половине случаев.

Сначала замерили людей: специалисты выполняли задачи по программированию и машинному обучению из наборов RE-Bench, HCAST и 66 новых коротких задач. Так у каждой задачи появилось «человеческое время».

Потом те же задачи дали моделям разных лет — с 2019 по 2025 год — и для каждой посчитали, на какой длине задачи успех падает до 50%.

Это похоже на оценку бегуна не по баллам, а по дистанции, которую он пробегает: сразу понятно, что значит «стал лучше».

Около 50 минут. Горизонт Claude 3.7 Sonnet при 50% успеха.

Удвоение каждые ~7 месяцев. Так рос горизонт последние шесть лет. По данным только за 2024–2025 годы рост был быстрее.

Короткое и длинное. Задачи короче 4 минут модели решают почти всегда, задачи длиннее примерно 4 часов — меньше чем в 10% случаев.

Авторы продлевают тренд: если он продержится ещё 2–4 года, агенты смогут выполнять широкий круг задач длиной в неделю, а к концу десятилетия — проекты на месяц. Это экстраполяция, а не гарантия, и её неопределённость авторы разбирают отдельно.

Код анализа и данные открыты: github.com/METR/eval-analysis-public.

Метрика даёт понятную шкалу: не «модель стала на 5% лучше», а «модель справляется с задачами на час вместо задач на десять минут». Её используют, чтобы отслеживать рост автономности агентов — в том числе для оценки рисков.