Судьи для ИИ-агентов сами не проходили экзаменThe judges grading AI agents haven't been graded themselves

Абхигья Верма, Амит Кумар Саха, Сегнарасан Субраманиан и Сай Харшита Алуру опубликовали работу «AgentJudgeBench» — первый, по их словам, бенчмарк, который проверяет надёжность LLM-«судей» на структурированных, зависимых друг от друга агентных задачах разной сложности.

Суть проблемы в том, что LLM-судьи давно и широко используются для оценки агентных систем с вызовом инструментов — по сути, одна модель проверяет работу другой вместо дорогой и медленной ручной разметки. Но насколько эти судьи вообще надёжны на реалистичных, «многошаговых» сценариях, где один вызов инструмента зависит от результата предыдущего, авторы называют largely unexamined — то есть почти не изученным вопросом. Это довольно неудобное признание для целой индустрии, которая уже встроила автоматических судей в свои процессы оценки.

AgentJudgeBench устроен как набор задач разной сложности специально для того, чтобы найти границу, на которой судьи-модели начинают ошибаться. Дигест не раскрывает конкретных цифр точности из работы — но сама постановка вопроса важнее любого отдельного числа: индустрия строит целые пайплайны оценки на инструменте, чью надёжность на сложных сценариях до сих пор толком не проверяли.

Почему это важно

Если методология «одна модель судит другую» станет стандартом контроля качества для агентных систем, тем важнее знать, где она даёт сбой. Бенчмарк, который честно ищет слепые пятна LLM-судей, — не менее ценен, чем очередная модель с рекордом на лидерборде.