«Один симптом, три рычага»: свежая работа ставит под сомнение модный метод дообучения ИИOne symptom, three levers": a new paper questions a trendy way to fine-tune AI models

Свежая статья на arXiv «One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation» (Джастин Робер и Рахил Кадер) разбирает метод, который за последний год стал одним из любимых инструментов для дообучения языковых моделей после базового претрейна, — on-policy self-distillation, самодистилляцию «на своих ответах».

Суть метода в двух предложениях, как её формулируют сами авторы: модель генерирует собственные ответы, а модель-учитель оценивает их построчно, точнее — по каждому токену. Получается гибрид: от imitation learning метод берёт плотную, «на каждом шаге», обратную связь, а от reinforcement learning — то, что модель учится на своих же, а не на чужих генерациях (on-policy sampling). На бумаге это звучит как лучшее из двух миров: не нужно, как в классическом RL, ждать разреженного сигнала в конце длинной генерации, и не нужно, как в обычной дистилляции, тащить модель к чужому распределению ответов.

Но у метода есть цена, и именно с неё, судя по всему, начинается критика в статье: оценка каждого токена требует второго прохода — а значит, второй модели, которая должна быть под рукой на каждом шаге обучения. Название работы прямо обещает свести накопившиеся претензии к методу к одному общему «симптому» и предложить три рычага, которыми его можно снять, — но конкретные формулировки этого симптома и рычагов в доступном описании статьи не приведены, так что гадать о деталях раньше времени мы не будем.

Важно здесь именно то, что это критический разбор, а не очередной рапорт о новом рекорде: авторы разбирают устоявшийся, уже широко применяемый метод, а не предлагают с нуля ещё один. Пока post-training языковых моделей превращается в отдельную, быстро растущую дисциплину, а on-policy дистилляция — в один из её стандартных инструментов, такая ревизия полезнее очередного громкого релиза: она помогает понять, где метод ломается, прежде чем на нём выстроят следующий слой инфраструктуры.

Почему это важно

Индустрия последние два года штампует методы дообучения быстрее, чем успевает их проверять; статья, которая честно называет слабое место популярного подхода, а не рекламирует его, — редкий и полезный жанр.