フィジカルキャンバス：ロボット政策評価・学習のための視覚触覚ワールドモデル

- 接触の多いロボットマニピュレーション向けの、状態整合的な visuo-tactile world model「PhysCanvas」 - 多視点 RGB、tactile images、marker displacement、task state、action を単一の vision space に統合 - 実世界での policy 評価と post-training を、物理インタラクションの代わりに world model 上で行う枠組み - 閉ループの policy rollout による評価と、想像上の interaction/reward を用いた GRPO 更新の両方を支援

- 従来の action-conditioned world model は視覚的に尤もらしくても接触ダイナミクスを誤表現し、policy 評価・学習の feedback として信頼できない問題があった - PhysCanvas は tactile を統合し、visual-tactile の整合性を明示的に監督することでこの問題に対処 - 光学式 touch が visual/temporal prior を再利用できるよう、全 modality で video VAE と pretrained generative backbone を共有 - 実世界 4 タスクで world-model と実世界の成功率の相関を改善し、post-training で実成功率も向上させた点が新規

- 多視点 RGB・tactile images・marker displacement・task state・action を統一 vision space で扱う - 全 modality が video VAE と pretrained generative backbone を共有し、optical touch が視覚・時間 prior を再利用 - forward kinematics と camera projection から motion images を生成し、空間的に整合した action conditioning を実現 - 初期 RGB anchor と更新される reference observation が逐次生成を誘導 - consistency-aware post-training で frozen の Scene Reward Model、Modality Reward Model、State Reward Model を用い、scene 保持・visual-tactile 整合・実タスク結果との一致を監督

- 実世界の 4 つの manipulation task で検証 - world model 上で policy を rollout し、world-model と実世界の成功率のタスク別 Pearson 相関の算術平均を評価 - State Reward Model の supervision により、その相関が 0.602 から 0.885 へ向上 - reward-guided world model での policy post-training により、$\pi_{0.5}$ の実世界平均成功率が SFT baseline の 59.1% から 70.8% へ向上

- 統一 multimodal modeling と consistency-aware post-training が、ロボット policy の評価・学習に有効であることを示唆 - 視覚的に尤もらしい予測が接触ダイナミクスを誤表現しうるという問題に対し、tactile と reward による整合性監督が鍵 - 実世界 4 タスクでの結果であり、他タスク・他ロボットへの一般化や限界については要旨からは不明 - 各 Reward Model の詳細や失敗事例、計算コストについては要旨からは不明

- Scene Reward Model、Modality Reward Model、State Reward Model の各 reward model に関する研究 - GRPO を用いた policy optimization の関連研究 - $\pi_{0.5}$ および SFT baseline に関する研究 - action-conditioned world model を interactive simulator として用いる先行研究 - video VAE や pretrained generative backbone を共有する unified multimodal world model の関連研究