何が起きたか
arXiv掲載論文「Learning the Task or Learning the Verifier? Rethinking Criteria Exposure in Embodied Self-Improvement」は2026年11月5日、身体性エージェントの自己改善における評価基準の提示を検証した実験結果を報告した。ベンチマークの成功基準をエージェントに見せる条件では、その基準上の成功率が早く上がったが、指示を変えずに基準だけを少し変えると優位性は消えた。基準提示下で得たスキルは、別タスクへの転移も乏しかったという。
詳細
論文は、ベンチマークの成功基準を学習エージェントに提示する方法を「Criteria Exposure（CE）」と呼ぶ。対象は、エージェントがロボット制御プログラムを生成する身体性エージェントで、CEの有無を比較する統制実験を行った。論文によると、もともと模倣学習で訓練したポリシーを検証するための基準が、対応する言語指示より多くの条件を求める場合がある。 著者らは、エージェント生成プログラムの性能をよりよく反映する「instruction-faithful criteria（指示に忠実な基準）」も提案し、従来の検証基準より適切に性能を表すと報告した。提示された要旨には、実験に用いた個別ベンチマーク名や成功率の数値は記載されていない。
Key Facts
| 論文はベンチマークの成功基準をエージェントに提示する方法をCriteria Exposure（CE）と呼ぶ。 | [1] |
| CEありの条件では、エージェントは提示された基準上の成功率を早く高めた。 | [1] |
| 指示内容を変えずに基準を少し変更すると、CEによる成功率の優位性は消えた。 | [1] |
| CE下で形成されたスキルは、タスク間の転移が乏しかった。 | [1] |
| 論文は、エージェント生成プログラムの性能をよりよく反映する指示忠実な評価基準を提案した。 | [1] |
本紙の見方
この論文の焦点は、身体性エージェントの自己改善で高いベンチマーク得点を得ることと、言語指示に沿ったタスク能力を身につけることを切り分けた点にある。CEを使うと提示された成功基準上の成績は早く上がるが、基準を少し変えるだけで優位が消え、別タスクへの転移も乏しい。したがって、評価器に合わせて改善した成績を、そのままロボット制御能力の一般的な向上とみなすのは難しい、という問題を示している。 特に重要なのは、基準が言語指示より多くの条件を課すことがあるという指摘だ。模倣学習ポリシーの検証を目的に書かれた基準を、エージェントが生成した制御プログラムの評価にも使うと、指示の達成度ではなく検証器との適合を測る可能性がある。論文の比較結果は、このずれが単なる採点上の細部ではなく、学習で得られたスキルの頑健性や転移性にも関わることを示唆する。ベンチマーク得点を開発の進捗指標に使う場合、基準を見せた条件の点数だけでなく、指示を保ったまま基準を変えた際の成績や、別タスクでの転移を併せて見る必要があると考えられる。 評価設計への含意は、検証器を単に厳しくすることではない。指示に忠実な基準を設け、プログラムが指示された目的を達成したかを測ることが、エージェント間の比較や自己改善の評価の解釈を支える。もっとも、提示された要旨からは、実験に使ったベンチマークやタスク、基準変更の具体的内容、成功率の差、指示忠実な基準の評価方法は読み取れない。結果の適用範囲を判断するには、個別タスクの設計と数値、基準を変えた際の検証条件、提案基準が人間の意図とどう照合されたかを本文で確かめる必要がある。
なぜ重要か
論文の実験では、CEありで成功率が上がっても、指示を変えずに評価基準を少し変えるとその優位性が消え、別タスクへの転移も乏しかった。身体性エージェントの開発者やベンチマーク運営者にとって、提示された基準上の得点だけでは、指示されたタスクの達成や他タスクでの能力を判断しにくいことを示す結果である。