Исследование выявило компромисс между управлением LLM и беглостью текста
Авторы работы изучили методы кондиционирования LLM и обнаружили, что эффективное управление выводом часто снижает беглость текста. Исследование также показало, что steering на основе активаций хуже работает на моделях, дообученных по инструкциям.
Исследование «On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study» опубликовано в сентябре 2026 года и связано с конференцией EMNLP, указывает страница Apple Machine Learning Research. Авторы сообщают, что эффективные методы управления выводом LLM нередко заметно ухудшают беглость текста.
Авторы систематически рассмотрели ряд методов кондиционирования LLM. Их изучали в двух сценариях: внедрение целевого понятия в вывод модели и его удаление.
Отдельный вывод работы касается steering на основе активаций. На моделях, дообученных по инструкциям, этот метод значительно менее эффективен, чем на базовых моделях.
Источники
Читайте также
Apple Machine Learning Research опубликовала работу о среде SCLATE
Google DeepMind представила SynthID Bio для маркировки ИИ-сгенерированных белков
