RoboFollow：身体性エージェントにおける指示追従の幻想を暴く

- 現代の embodied agents は高い成功率を示すが、実際の instruction following 能力はその数値ほど強くないという錯覚を暴く研究。 - 錯覚の原因を low scene entropy という構造的性質に帰着。 - 視覚 scene が一つの有効タスクしか許さない場合、language が冗長になり、policy が language をほとんど使わず高スコアを出せる。 - これを診断する benchmark「RoboFollow」を提案。 - 3原則: High Scene Entropy、Hierarchical Diagnostic Protocol (L0–L3)、Confound-Controlled Diagnosis。 - 9つの VLA および WAM policies を評価し、instruction following が見過ごされたボトルネックであることを示す。

- 従来の embodied agents 評価は成功率に依存し、language の寄与を分離できていなかった。 - RoboFollow は low scene entropy という視点を導入し、vision だけでは解けない高エントロピー scene を設計。 - これにより language への依存を強制し、instruction following を直接診断。 - 4段階の L0–L3 protocol で視覚 layout と semantics を段階的に摂動し、等価な指示の一貫性と異なる指示の識別性を空間関係・属性・軌道制約・論理にわたり検証。 - 相互作用対象を単純化し、行動を訓練済みレパートリーに制限、Intent と Execution を段階別に報告することで、理解と運動実行を分離。 - 既存の緩和策 (stronger VLM backbones, QA co-training, LangForce, Classifier-Free Guidance) がこのギャップを埋められないことを示した点が新しい。

- High Scene Entropy: 各訓練 scene が複数の運動学的に異なるタスク分岐を支持するよう設計。 - vision だけでは不十分にし、language への依存を強制。 - Hierarchical Diagnostic Protocol: 4段階 (L0–L3) で視覚 layout と semantics を漸進的に摂動。 - 空間関係、属性、軌道制約、論理に関する指示の一貫性と識別性を調べる。 - Confound-Controlled Diagnosis: 相互作用対象を単純化し、行動を訓練済みレパートリーに制限。 - 段階別に Intent と Execution スコアを報告し、comprehension と motor execution を分離。 - 評価対象は 9つの VLA および WAM policies。

- RoboFollow benchmark 上で 9つの VLA および WAM policies を評価。 - 強い L0 性能が、fine-tuning 設定下で L1–L3 に確実に転移しないことを示した。 - 代表的な緩和策 (stronger VLM backbones, QA co-training, LangForce, Classifier-Free Guidance) を試したが、いずれもこのギャップを埋められなかった。 - これにより instruction following が critical かつ overlooked なボトルネックであることを実証。

- 現代の embodied agents の高い成功率は instruction following 能力を過大評価させる錯覚であると議論。 - low scene entropy がこの錯覚の構造的原因であり、language が冗長になることで policy が language を無視しても高スコアを出せる。 - 既存の緩和策では L0 から L1–L3 への性能ギャップを解消できないことを指摘。 - instruction following が見過ごされた重要ボトルネックであると結論。 - 具体的な限界や今後の課題については要旨からは不明。

- 要旨で参照/比較されている研究: VLA policies, WAM policies, stronger VLM backbones, QA co-training, LangForce, Classifier-Free Guidance。 - 関連手法として、embodied instruction following や vision-language-action モデル、benchmark 設計に関する研究が次に読むべき候補。 - 具体的な論文名は要旨に明記されていないため、同分野の定番として VLA (Vision-Language-Action) モデルや instruction following benchmark に関する研究を挙げる。