行動転送/世界シミュレーション2026/10/20arXiv:2610.27946

自己中心視点の観察から行動を分離する世界シミュレーション手法

Decoupling Action from Egocentric Observation for World Simulation

動画拡散モデルのノイズ除去過程を直接操作し、幾何推定器なしで自己中心視点の行動を新しい視覚文脈へ転送するEgoACTを提案。手と物体の構造保持と接触の現実性を両立させる。

詳しい要約

1. どんなもの？

- Egocentric action transfer を目的とした test-time framework「EgoACT」の提案 - egocentric 観察から意味的な action を切り離し、新しい視覚文脈で再現することを狙う - 追加の geometric estimator を必要とせず、video diffusion model の denoising 過程に直接介入 - 併せて評価用 benchmark「EgoActionBench」を構築 - 応用先として scalable world simulation、embodied policy learning、robotic data generation を挙げる

2. 先行研究と比べてどこがすごい？

- 既存の condition-guided video generation は hand poses や meshes など明示的 geometric controls に変換するため geometric estimation errors が入り、新 scene で物理的に妥当な interaction を保ちにくい - motion transfer 系は observation video から motion patterns を直接抽出するが、motion-level features だけでは rich contact dynamics を符号化できず、hand structural collapse や implausible contact layout が頻発 - EgoACT は geometric estimator を要さず、denoising 過程上で構造と対応を扱う点が異なる - 要旨では定量的な優位性の数値は示されていない

3. 技術・手法の肝は？

- video diffusion model の denoising process に test-time で作用する枠組み - Velocity-guided Structure Anchoring：early denoising stage で reference-consistent な hand-object structure を安定化 - Sparse Correspondence Calibration：mid-to-late denoising stages で信頼できる local correspondences を精緻化 - 両者により transferable action semantics を保ちつつ temporal coherence と interaction realism を改善 - 追加の geometric estimator を不要とする設計が肝

4. どうやって有効だと検証した？

- EgoActionBench を新たに構築し、多様な egocentric manipulation シナリオで評価 - 評価軸は action preservation、visual quality、hand-object plausibility - strong baselines と比較し、より coherent かつ physically plausible な interaction video を生成すると報告 - 具体的な指標値や被験者実験の有無は要旨からは不明

5. 議論はある？

- geometric estimation errors と motion-level features の限界をどう回避するかが議論の出発点 - contact dynamics の符号化と hand structure の崩壊抑制の両立が課題として示唆される - test-time 介入のため追加学習の要否や計算コスト、他 diffusion model への汎化性は要旨からは不明 - EgoActionBench の妥当性や網羅性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- condition-guided video generation 系（hand poses / meshes を明示制御に用いる手法） - motion transfer 系（observation video から motion patterns を抽出する手法） - video diffusion models の denoising 制御に関する研究 - egocentric 操作データセットおよび embodied policy learning 関連研究 - 要旨で個別論文名の参照は無いため、上記は関連手法カテゴリとして挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Ma, Pengjie Song, Xinyu Wang, Yi He, Zeqian Long, Fangneng Zhan, Kaichen Zhou, Hongyu Liu, Hongfa Wang, Peihao Li, Haoyang Huang, Nan Duan, Qifeng Chen

分類: cs.CV

原文アブストラクト

Egocentric action transfer aims to decouple the semantic action from egocentric observations and reproduce them in new visual contexts, enabling scalable world simulation, embodied policy learning, and robotic data generation. Existing approaches to transferring actions rely on condition-guided video generation, which converts the observation video into explicit geometric controls (e.g., hand poses or meshes) to drive synthesis. However, these methods introduce geometric estimation errors, making it difficult to preserve physically plausible interactions when transferred to new scenes. Alternatively, motion transfer methods directly extract motion patterns from the observation video, yet motion-level features alone cannot encode rich contact dynamics, frequently leading to severe hand structural collapse and implausible contact layout. To address both limitations, we present EgoACT, a test-time framework for egocentric action transfer that operates directly on the denoising process of video diffusion models without requiring additional geometric estimators. EgoACT uses Velocity-guided Structure Anchoring to stabilize reference-consistent hand-object structure in the early denoising stage, and Sparse Correspondence Calibration to refine reliable local correspondences in the mid-to-late denoising stages. Together, these two components preserve transferable action semantics while improving temporal coherence and interaction realism. We further establish EgoActionBench, a benchmark for evaluating action preservation, visual quality, and hand-object plausibility across diverse egocentric manipulation scenarios. Experiments show that EgoACT generates more coherent and physically plausible interaction videos than strong baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧