モデルからポリシーへの定式化による身体性基盤モデルの統一

- 本論文は、VLA (Vision-Language-Action) models と WAMs (World-Action Models) を統一的に扱うための、アーキテクチャ非依存の確率的定式化を提案する研究。 - 具体的には、embodied foundation models を stochastic kernels に基づいて定式化し、条件付き出力分布と action-realization kernels によって task-conditioned robot policies を導出する枠組みを示す。 - さらに pretraining と post-training を policy deployment に接続し、モデル固有の pretraining 目的や offline/online の post-training 戦略を包含できるとする。 - OpenVLA と DreamZero に対して定式化をインスタンス化し、autoregressive action-token prediction と joint video-action generation の両…

- 先行する VLA models と WAMs は、アーキテクチャ・出力表現・学習目的がそれぞれ異なり、統一的な理解や比較の枠組みが乏しかった。 - 本論文は、これらを stochastic kernels に基づく単一の確率的定式化で扱う点を主張する。 - アーキテクチャ非依存であるため、モデル固有の pretraining 目的や offline/online の post-training 戦略を許容しつつ、policy deployment まで一貫して接続できる点が特徴として述べられている。 - 具体的な性能比較や優位性の定量的主張は要旨からは不明。

- 中核は、embodied foundation models を stochastic kernels として定式化する点。 - (i) 条件付き出力分布と action-realization kernels によって task-conditioned robot policies を誘導する。 - (ii) pretraining と post-training を policy deployment に接続し、モデル固有の pretraining 目的や offline/online の post-training 戦略を扱えるようにする。 - インスタンス化として OpenVLA では autoregressive action-token prediction、DreamZero では joint video-action generation を定式化に落とし込む。 - 具体的な数式やアルゴリズムの詳細は要旨からは不明。

- 要旨からは不明。 - 定式化のインスタンス化として OpenVLA と DreamZero を対象に含め、autoregressive action-token prediction と joint video-action generation をカバーすることが述べられているが、実験的検証の有無や評価指標は要旨からは不明。

- 要旨からは不明。 - 定式化がアーキテクチャ非依存で、モデル固有の pretraining 目的や offline/online の post-training 戦略を許容する点が議論の前提として示されているが、限界や課題についての記述は要旨からは不明。

- OpenVLA (autoregressive action-token prediction の代表例として本論文でインスタンス化) - DreamZero (joint video-action generation の代表例として本論文でインスタンス化) - VLA (Vision-Language-Action) models および WAMs (World-Action Models) の関連研究 - stochastic kernels に基づく確率的定式化や policy deployment に関する研究 - 要旨で明示的に参照・比較されている個別論文は限られるため、上記の手法名・分野名を手がかりに辿るのが妥当。