統合世界行動言語モデルによる身体性ロボット制御

- UniWALM は video・action・language を単一の共有表現で学習する unified world-action-language model - 各 modality を条件信号かつ supervision target として扱う - 単一の mixture-of-transformers backbone に modality ごとの diffusion head を持ち、同期して co-denoise する - 言語生成を次ステップで再消費する language-as-memory loop を構成 - 目的は言語の同時生成が操作性能と memory 依存行動を改善するかの検証

- 従来は reasoning/VLM を video-action backbone に接続し別 stage で実行する構成 - UniWALM は 3 modality を単一 backbone 内で統合し、別 planning stage を持たない - subtask と textual memory を action と同一 pass で decode - 外部 planner や memory bank を必要としない - 同一 backbone の baseline (FastWAM) を上回る - 事前学習済み language/reasoning model なしで RMBench の memory 依存 subset で 34.5% を達成 - keyframe 付き Mem-0 (28.5%) を単一 anchor frame のみで上回る

- 単一の mixture-of-transformers backbone に modality 別 diffusion head を備え、同期 co-denoise - 各 modality が条件信号かつ supervision target となる共有表現を学習 - 生成言語を次ステップで再入力する language-as-memory loop - Flow Matching with Correction (FMC): 摂動された action trajectory からの回復を学習する training objective - inference-time の追加コストなしで action stream の信頼性を維持

- 同一 backbone baseline (FastWAM) との比較 - compositional pick-and-place (MolmoSpaces) での評価 - RMBench の memory 依存 subset での評価 - 34.5% を達成し、Mem-0 の keyframe 付き 28.5% を単一 anchor frame で上回る - 実世界 Find-the-Item task - textual memory 生成により成功率 11.1% → 61.1% - 最先端 VLA は chance 以下 (<=33.3%)

- 言語の同時生成が共有表現を豊かにし manipulation と memory 依存行動を改善するかを問う設定 - 別 stage 型の reasoning/VLM 接続に対し、単一 backbone 統合の有効性を示唆 - FMC により豊かな目的関数下でも action stream の信頼性を保つ点を議論 - 限界・失敗事例・計算コストなどの詳細は要旨からは不明

- FastWAM (同一 backbone baseline) - Mem-0 (RMBench memory 依存 subset の比較対象) - MolmoSpaces 関連の compositional pick-and-place 研究 - RMBench の memory 依存タスク研究 - 最先端 VLA (実世界 Find-the-Item で比較された手法) - Flow Matching 系の action 生成手法