- 異種の action で条件付けられる統合 world model フレームワーク UniAction の提案。
- 任意の action を『離散的な意味 ID と連続的な時空間 grounding 座標を持つ疎な action elements 集合』として表現。
- 座標を pretrained video model の native positional space に直接写像し、同一の時空間構造で異種 action が共有 world model を条件付け可能にする。
- force, camera control, hand pose, robot pose の 4 種の action 形態で評価。
2. 先行研究と比べてどこがすごい？
- 従来の action-conditioned world model は action 種別ごとに個別構築され、限られた action 注釈付きデータがモデル間で分断されていた。
- UniAction は異種 action を単一の共有 world model で扱い、action 注釈データを統合的に活用できる。
- 単一の joint training モデルが action 種別ごとの expert を上回り、異種 action データが統一モデルと joint training から恩恵を受けることを示した。
3. 技術・手法の肝は？
- action を『離散的な semantic identity + 連続的な spatiotemporal grounding coordinate』を持つ疎な action elements 集合として表現。
- それら座標を pretrained video model の native positional space へ直接マッピングし、異種 action を同一時空間構造で条件付け。
- action 表現の粒度差によるバイアスに対処するため cardinality-calibrated attention を導入。
4. どうやって有効だと検証した？
- force, camera control, hand pose, robot pose の 4 つの代表的な action 形態で評価。
- action following において UniAction が他の conditioning 代替手法を上回ることを確認。
- 単一の jointly trained model が action 種別ごとの expert を超える性能を示した。
- 要旨で参照・比較されている個別 action 種別の action-conditioned world model（force, camera control, hand pose, robot pose 向けの action-specific expert）。
- pretrained video model を基盤とする world model 研究。
- attention の calibration に関する手法（cardinality-calibrated attention の関連研究）。
Actions that condition world models are highly heterogeneous, and thus existing action-conditioned world models are typically built for individual action types, fragmenting already limited action-annotated data across separate models. We introduce UniAction, a unified action-conditioning framework that represents any action as a sparse set of action elements, each with a discrete semantic identity and a continuous spatiotemporal grounding coordinate. By mapping these coordinates directly into the pretrained video model's native positional space, UniAction allows heterogeneous actions to condition a shared world model within the same spatiotemporal structure. We further introduce cardinality-calibrated attention to address the bias from differing action representation granularities. We evaluate UniAction on four representative action forms: force, camera control, hand pose, and robot pose. UniAction outperforms conditioning alternatives in action following, and a single jointly trained model surpasses the action-specific experts, showing that heterogeneous action data benefit from unified model and joint training.