Apple представила REVERSAL-BENCH для изучения обучения роботов без сбросов
Apple Machine Learning Research представила бенчмарк для оценки обратимости сред и обучения с подкреплением без внешних сбросов. Авторы сообщают, что с ростом необратимости агенты могут попадать в состояния, из которых нельзя восстановиться.
17 сентября 2026 года Apple Machine Learning Research представила REVERSAL-BENCH — бенчмарк для изучения обратимости сред и обучения с подкреплением без внешних сбросов.
В бенчмарке обратимость задаётся непрерывным параметром ρ от 0 до 1. Он также включает reset oracle — механизм проверки восстанавливаемости состояний — и охватывает восемь манипуляционных сценариев в пяти физических движках.
Авторы сообщают, что при росте ρ агенты, обучаемые без внешних сбросов, часто оказываются в невосстановимых состояниях, тогда как агенты с эпизодическим обучением продолжают учиться стабильно. По их данным, эффект сохраняется в полноценных физических симуляциях и связан с необратимостью, а не со сложностью препятствий.
Авторы также сообщают о выпуске набора бенчмарка и мультисимуляторного набора данных с метками восстанавливаемости и reset oracle. В описании работы сказано, что защитный механизм точно предсказывает восстанавливаемость, но активное восстановление обычно удаётся, только если агент способен физически избежать ловушки.
Источники
Читайте также
Apple Machine Learning Research опубликовала работу о среде SCLATE
Исследование выявило компромисс между управлением LLM и беглостью текста
