ロボット動画の進捗判定、添えたログ文でVLMの判断が変化

何が起きたか

arXiv掲載論文「Execution Logs Sway VLM Judges of Robot Progress」は、ロボット動画の進捗を判定する視覚言語モデル（VLM）に、映像のそばに置くログ文が影響する実験結果を報告した。進捗が後退している動画に「ロボットは進捗している」とする1行を加えると、Gemini、Qwen、GPTの判定は、中立的な文を加えた場合より10〜35ポイント高い割合で、正しい判定から「進捗している」へ変わった。ログが誤っている可能性を示す1行の警告は、この影響の大半を取り除いた。

詳細

論文要旨によると、偽の「タスク完了」情報を加えた条件では、Qwenの正しい判定の半数が覆った。無関係なログ文の場合に判定が覆った割合は10分の1だった。一方、同じ完了情報はGeminiには検出可能な影響を与えなかった。要旨には実験に用いた動画数やモデルの詳細なバージョン、判定課題の内訳は記載されていない。

Key Facts

本紙の見方

この研究の焦点は、ロボットの動作そのものを映す動画だけでなく、動画のそばに置かれた1行のテキストも、VLMによる進捗判定の入力として作用し得る点にある。進捗が後退している動画で、進捗を主張するログが中立文より10〜35ポイント多く正しい判定を覆したという結果は、判定器の評価を映像内容だけで記述すると、実際にモデルへ与えた情報を取り違える可能性を示す。これはロボットの実行性能が上がったという報告ではなく、動画を評価する側の判断がテキストで変化したという報告である。 一方、誤りの可能性を示す警告が影響の大半を取り除いたことは、ログを一律に排除するのではなく、ログの信頼性に関する情報を併せて提示する方法が実験上検討されたことを示す。ただし、要旨からは警告文の具体的な文面や、どの条件でどの程度効果があったかは分からない。したがって、警告を付ければ判定が安定する、と一般化する根拠にはならない。 また、偽の完了宣言ではQwenの正判定の半数が覆る一方、Geminiには検出可能な影響がなかった。これはモデルの種類とログの内容によって結果が異なり得ることを示す。進捗ログと完了宣言の実験結果も同じではなく、単一の「ログ耐性」指標にまとめると差を失うおそれがある。ロボット動画を用いた評価では、モデル名に加え、映像に付随させたテキストの有無・内容を条件として記録し、映像単独の判定と比較できる設計が論点になる。 ただし、公開された要旨には動画数、タスクの種類、正解ラベルの決め方、モデルの詳細なバージョン、試行間のばらつきが示されていない。10〜35ポイントという差がどの条件ごとに生じたのか、また警告文の効果が別のタスクやログ形式でも再現するのかを評価するには、論文本文の実験条件と結果を確認する必要がある。現段階では、特定の評価場面におけるテキストの影響として読むのが妥当であり、ロボットの自律動作全般やVLM全般の性能を示す数値とは区別すべきだ。

なぜ重要か

ロボット動画をVLMで評価する場合、映像に添えた進捗ログや完了情報が、正しい判定を覆すことが実験で示された。評価を使う側には、映像だけでなく付随テキストも判定条件として管理し、モデルごとに結果を確認する必要があることを示す。