TemporalFlow-VLA: 物理的に基づいた実行履歴を学習する長期的ロボット操作

TemporalFlow-VLAは、Vision-Language-Action (VLA)モデルに物理的に接地された実行履歴を学習させる手法を提案する。ロボットの状態、ロボットの幾何学、校正済みカメラを用いて、ロボットと表面の間の時間的フロー（robot-surface temporal flow）をトレーニング専用のターゲットとして構築し、実行に整合した2つの時間的クエリを教師あり学習する。これにより、視覚的に類似した状態でも過去の実行に応じて異なるアクションが必要な多段階操作において、コンパクトな実行履歴を提供する。推論時には幾何学的監督や明示的な動き推定を必要とせず、非同期の特徴キャッシングにより単一フレームレベルのサンプリング遅延を維持する。

従来のVLAモデルは、単に履歴フレームを追加するだけでは物理的な変化を捉えられず、特に多段階操作で視覚的に類似した状態が異なるアクションを要求する問題に対処できなかった。TemporalFlow-VLAは、物理的に接地された時間的監督（robot-surface temporal flow）を導入し、実行履歴を構造化してアクションエキスパートに提供する点が新しい。また、推論時に幾何学的処理や明示的な動き推定を不要とし、追加の履歴エンコーディングオーバーヘッドなしで単一フレームレベルの遅延を維持する点で優れている。

手法の核心は、トレーニング中にロボットの状態、ロボットの幾何学、校正済みカメラを用いてロボットと表面の間の時間的フロー（robot-surface temporal flow）を構築し、これをトレーニング専用のターゲットとして使用すること。この幾何学的監督により、実行に整合した2つの時間的クエリ（execution-aligned temporal queries）を学習し、アクションエキスパートに構造化された履歴を提供する。推論時には、この幾何学的監督パスは評価されず、非同期の特徴キャッシングにより時間的条件付けを実現し、追加の履歴エンコーディングオーバーヘッドなしで単一フレームレベルのサーバーサイドサンプリング遅延を維持する。

LIBEROベンチマークで平均成功率97.63±0.26%を達成し、特にLIBERO Longでは96.60±0.87%を記録。また、12のRoboTwinタスクでClean/Randomized成功率85.5%/84.2%を達成。長いホライズンで多段階の操作タスクにおいて、先行手法と比較して最も明確な優位性を示した。さらに、制御された履歴介入実験により、アクション予測が履歴の内容と時間的順序の両方に依存することを示した。

要旨からは、提案手法の限界や潜在的な欠点についての議論は明示されていない。ただし、幾何学的監督がトレーニング専用であり、推論時には不要であることから、実環境での適用可能性が高いと考えられる。また、履歴介入実験により、履歴の内容と順序の重要性が示されたが、具体的な介入方法や結果の詳細は要旨からは不明。

要旨で参照されている先行研究や関連手法は明示されていないが、VLAモデルやロボット操作の分野では、RT-2やOctoなどのVLAモデル、およびLIBEROやRoboTwinなどのベンチマークが関連する。次に読むべき論文としては、VLAモデルの基盤となるVision-Language Pretrainingを活用したロボット制御の研究（例：RT-2）や、多段階操作のための階層的アプローチを扱った論文が考えられる。