視覚言語行動モデルは自己受容状態をどう使うべきか？

本論文は、Vision-Language-Action (VLA) モデルにおけるロボットの proprioceptive state（自己受容状態）の入力方法に関する体系的比較研究である。VLAモデルは通常、状態をテキストプロンプトに直列化する、視覚言語プレフィックスに投影する、アクションエキスパートに直接入力するなど、互換性のない方法で状態を配線している。本研究では、フローマッチングVLAを用いて、5つの代表的なインターフェース（discrete state prompt, VLM prefix, action prefix, state expert, feature modulation）を実装し、45の原子タスクと20の複合タスクで評価する。さらに、状態履歴の長さを1から96フレームまで変化させ、その影響を調べる。これにより、状態入力の必要性、履歴の有用性、入力位置の3つの問いに系統的に答える。

先行研究では、VLAモデルがproprioceptive stateを様々な方法で入力しているが、その方法の違いが性能に与える影響を体系的に比較した研究はほとんどない。また、状態履歴の長さや入力位置についての詳細な分析も不足している。本研究は、バックボーン、トレーニングデータ、アクション表現、評価プロトコルを固定し、実装詳細を一致させた上で5つのインターフェースを比較することで、これらの要因を切り分けて評価している点が優れている。さらに、45の原子タスクと20の複合タスクという大規模な評価と、状態履歴の長さのスイープにより、設計原則を導出している点が新しい。

手法の肝は、フローマッチングVLAをベースに、proprioceptive stateの入力方法を5種類（discrete state prompt, VLM prefix, action prefix, state expert, feature modulation）実装し、バックボーン、トレーニングデータ、アクション表現、評価プロトコルを固定して比較することにある。また、状態履歴の長さを1から96フレームまで変化させ、その影響を調べることで、履歴の有用性が真の時間的変動によるものか、単なる条件付け容量の増加によるものかを切り分ける。さらに、状態の入力位置を視覚言語バックボーンかアクション生成モジュールかで比較し、タスクファミリーごとの性能差を分析する。

有効性の検証は、45の原子タスク（3つのタスクファミリーにまたがる）と20の複合タスクを用いて行った。各インターフェースを実装し、閉ループ制御の性能を評価した。また、状態履歴の長さを1から96フレームまで変化させてスイープし、性能への影響を調べた。これにより、3つの問いに対する系統的な答えを得て、設計原則を導出した。具体的な数値結果は要旨には記載されていないが、実験計画は明確である。

要旨からは、議論の詳細は不明であるが、実験結果から得られた設計原則が提示されている。また、状態履歴の利点が真の時間的変動によるものか、追加の条件付け容量によるものかを区別する点が議論されている。さらに、状態の入力位置（視覚言語バックボーンかアクション生成モジュールか）がタスクによって異なる影響を与える可能性が示唆されている。しかし、具体的な議論の内容や限界については要旨からは不明である。

要旨で参照されている研究は明示されていないが、関連する手法として、Vision-Language-Action (VLA) モデル、フローマッチング、proprioceptive stateの入力方法に関する研究が挙げられる。具体的には、RT-2やOpenVLAなどのVLAモデル、フローマッチングを用いたアクション生成、状態表現の学習に関する論文が関連する。次に読むべき論文としては、これらの基盤となる研究や、VLAモデルの設計に関するサーベイが考えられる。