TEMPO: 動的ロボットマニピュレーションのための時間的文脈学習

TEMPOは、Vision-Language-Action (VLA) モデルに時間的文脈を追加して動的ロボットマニピュレーションを改善する手法。 - 推論時に単一観測しか使わないVLAの限界を、motion ambiguityとstate aliasingの2つの表現失敗として特定。 - 事前学習済みVLAを変更せず、2つの時間的入力（motion summaryとproprioceptive history）を追加。 - 4つの動的タスクで評価し、Bottle Handoverの成功率を44%から74%に向上。 - TEMPO-Benchという50k以上の注釈付きフレームのベンチマークも公開。

従来のVLAは準静的マニピュレーションで高い性能を示すが、動的タスクでは単一観測のため失敗する。 - 本研究は、モデル規模や推論遅延を増やしてもこれらの失敗が持続することを示し、ボトルネックがモデル容量ではなく時間的文脈の欠如であると主張。 - 既存手法と比べ、バックボーンを変更せず、最小限の計算オーバーヘッドで動的タスクを改善。 - 特にstate aliasingを解決する唯一の手法であると報告。

TEMPOの肝は、事前学習済みVLAに2つの時間的入力を追加する点。 - motion summary: 凍結したvideo foundation modelから抽出し、motion ambiguityを解決。 - proprioceptive history: コンパクトな固有受容感覚の履歴で、state aliasingを解決。 - バックボーンは変更せず、訓練・展開時の計算オーバーヘッドは最小限。 - 各時間的信号が対応する失敗に独立に寄与することをプロービングとアブレーションで確認。

4つの動的マニピュレーションタスクで検証。 - Bottle Handoverの成功率が44%から74%に向上。 - state aliasingを解決する唯一の手法であることを示す。 - プロービングとアブレーション研究により、各時間的信号がそれぞれの失敗に対応することを確認。 - TEMPO-Bench（50k以上の注釈付きフレーム）をリリースし、回帰と多肢選択形式で運動認識ロボット知覚を評価。

要旨からは、限界や議論の詳細は不明。 - 著者らは、motion ambiguityとstate aliasingがモデル規模や推論遅延に関わらず持続すると主張。 - 時間的文脈の欠如がボトルネックであると結論。 - 各時間的信号の独立した効果を確認。 - ただし、他の動的タスクへの一般化や失敗ケースについては要旨からは不明。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、video foundation model、proprioceptive historyを挙げる。 - 同分野の定番として、RT-1、RT-2、OpenVLAなどのVLAモデルが考えられるが、要旨では特定の論文名は挙げられていない。 - 次に読むべきは、TEMPO-Benchを利用した運動認識ロボット知覚の評価や、他の動的マニピュレーションへの応用研究。