Flex-π: 計算柔軟性を備えたマルチストリーム世界行動モデル

Flex-$\pi$は、3D geometryとobject-centric DINO semanticsをRGBと同時に予測する6Bパラメータのworld-action model (WAM)である。frozen video-generation VAEのlatent spaceが3D pointmapsをほぼ無損失で符号化することを利用し、追加のセンサーや事前学習なしで幾何学と意味の監視を実現する。Mixture-of-Transformers backbone内で各ストリームをjoint denoisingし、per-stream dropoutにより単一のcheckpointで任意のストリーム組み合わせ（action-onlyからfull joint generationまで）を実行できる。

従来のWAMはRGB latentsのみを予測し、pixel reconstructionに特化しており、3D geometryやobject semanticsの明示的な信号がなかった。Flex-$\pi$は、frozen VAEが3D pointmapsも符号化するという発見に基づき、追加コストなしで3DとDINO semanticsを監視できる点が新しい。また、単一モデルでストリームのサブセットに柔軟に対応できるcompute flexibilityを提供し、推論速度と性能のトレードオフを調整可能にした。

手法の核は、frozen video-generation VAEのlatent spaceを共有し、RGB、3D pointmaps、DINO semantics、actionsをすべてこの空間に投影してjoint denoisingすること。Mixture-of-Transformers backboneを使用し、各ストリームに独立したdropoutを適用し、cross-modality forcingにより訓練中に一部のストリームを欠落させても残りで予測できるようにする。これにより、推論時に任意のストリーム組み合わせで動作する。

実世界の器用で精密なbimanual manipulationタスク（in-distributionとout-of-distribution）で評価し、最強のベースラインと比較して2〜7倍の性能向上を達成した。また、$\pi_{0.5}$よりも高速に動作することを示した。デモ効率と一般化の良さも検証された。

要旨からは、frozen VAEが3D pointmapsを符号化する理由や、DINO semanticsの選択の根拠、dropout率の影響、他のモダリティへの拡張可能性などについての議論は不明。また、6Bパラメータのスケールでの訓練コストや、実世界での安全性についての言及もない。

要旨で参照されているのは、$\pi_{0.5}$（おそらくpi0.5モデル）と、world-action modelsの一般的な枠組み。次に読むべきは、$\pi_{0.5}$の論文、およびworld-action modelsの基礎となる論文（例：World Models, Action Models）や、DINO semanticsの元論文（DINOv2）が関連する。