世界校正型Proposal-to-Actionフローによる視覚言語行動モデル

Vision-Language-Action (VLA) ポリシー、特に flow-based な手法が、タスク非依存の等方ガウス分布から action chunk を生成する際に生じる問題を解決する ProAct を提案する研究。 - 問題点: - 生成源が直近の実行や予測未来に条件付けられず、局所的な運動連続性を失う。 - 予測的世界表現を導入しても、生成の開始点・逸脱範囲・拡張方向を決められない。 - 提案: - 生成源自体を予測可能にする world-calibrated proposal-to-action フレームワーク。 - Proposal Expert と World Expert により、シーン認識仮説と未来予測を統合。 - 提案中心の異方性源を校正し、翻訳・回転・グリッパ方向の洗練を配分。

従来の flow-based VLA ポリシーは、タスク非依存の等方ガウス分布を生成源とし、直近の実行や予測未来を考慮しないため、運動連続性を損なう。 - 予測的世界表現を導入する手法でも、輸送ダイナミクスの条件付けに留まり、生成の開始点・逸脱範囲・拡張方向を決定できない。 - ProAct は生成源自体を予測可能にし、運動連続性を保ちつつ、シーン進化と提案未来の整合性を考慮する。 - 結果として、$π_{0.5}$ と比較してシミュレーションおよび実世界タスクで性能向上し、denoising steps を 50% 削減、推論レイテンシを最大 25.8% 削減、スループットを最大 34.8% 向上。

ProAct の技術的核心は、生成源を world-calibrated にすること。 - Proposal Expert: - 軽量で、直近の action をシーン認識仮説に変換。 - motion-anchored endpoint flow-matching の 1 ステップで、実演された action manifold 近傍に生成を初期化。 - World Expert: - 仮説を soft motion prior として扱い、タスク整合的な潜在未来を予測。 - 意図されたシーン進化と提案未来の互換性を同時に捉える。 - 校正: - 互換性から、提案中心の異方性源を校正。 - 有界な per-step extent が許容逸脱を制御。 - trace-normalized low-rank geometry が condition-number budget の下で、結合された translation, rotation, gripper 方向の洗練を配分。

シミュレーションおよび実世界タスクで評価。 - 比較対象: $π_{0.5}$。 - 結果: - 性能向上。 - denoising steps を 50% 削減。 - 推論レイテンシを最大 25.8% 削減。 - スループットを最大 34.8% 向上。 - 具体的なタスクやデータセット、評価指標の詳細は要旨からは不明。

要旨からは不明。 - 提案手法の限界、失敗ケース、計算コスト、一般化性に関する議論は記載されていない。 - 実世界タスクの詳細や安全性、ロバスト性への言及もない。

要旨で参照/比較されている研究: - $π_{0.5}$ - flow-based Vision-Language-Action (VLA) policies - predictive world representations を導入した手法 関連手法として、flow matching や diffusion policy などが挙げられるが、要旨では具体的な論文名は明示されていない。