骨格に基づく潜在行動モデルによるロボット世界モデル

- ロボット行動に応じた環境変化を予測する robot world model のための手法 SkeLAM を提案した研究。 - ビデオから latent action を学習する際、再構成駆動型の latent action がロボット運動と物体応答・その他のシーン変化を混在させ、ロボット制御との対応が曖昧になる問題に対処する。 - latent action を、robot skeleton の supervision で接地される kinematic 成分と、補完的な視覚ダイナミクスを保持する residual 成分に分解する。 - world model は両成分を別々の conditioning pathway で取り込み、推論時は現在の観測と robot actions から将来観測を生成する。

- 従来の reconstruction-driven latent action model は視覚遷移を proxy action として符号化するが、ロボット運動と物体応答・シーン変化が混ざり制御との対応が不明瞭だった。 - SkeLAM は robot skeleton supervision で kinematic 成分を接地し、residual 成分と分離することで、制御可能な world modeling を狙う点が新しい。 - DROID 上で DreamDojo と比較し、end-effector ADE を 19.5%、LPIPS を 11.1% 低減したと報告。 - 生成 rollouts における zero-shot human-to-robot motion transfer や、予測成功率と実機成功率の一致も示す。

- latent action を kinematic 成分と residual 成分に分解する設計が肝。 - kinematic 成分は robot skeleton supervision により接地される。 - cross-modal swap reconstruction により、RGB 由来と skeleton 由来の kinematic 表現をビデオ再構成中に交換可能にすることを促す。 - world model は両成分を separate conditioning pathways で取り込み、branch dropout により future-derived residual 情報への依存を低減する。 - lightweight adapter が robot actions を kinematic space に写像し、その後の world-model fine-tuning で生成を予測条件に適応させる。

- DROID 上で DreamDojo と比較し、end-effector ADE 19.5% 減、LPIPS 11.1% 減を報告。 - motion probing により kinematic specialization を支持する結果を示す。 - 定性結果として、生成 rollouts における zero-shot human-to-robot motion transfer を提示。 - policy evaluation において、予測成功率と実ロボット実行で測定した成功率の一致を示す。

- 要旨からは不明。 - ただし、residual 成分への依存を branch dropout で抑える設計や、予測成功率と実機成功率の一致といった評価結果から、latent action の分解と制御接地の妥当性が議論の焦点と考えられる。 - 限界や失敗事例、計算コスト、skeleton supervision の依存性などは要旨からは不明。

- DreamDojo（本論文で比較対象の world model） - reconstruction-driven latent action model に関する先行研究（個別名は要旨からは不明） - robot skeleton supervision を用いた motion/kinematic 表現学習の関連研究（個別名は要旨からは不明） - DROID データセットを用いた robot world model / policy evaluation の関連研究