日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ワールドモデルarXiv:2610.13522

成功実演を超えて：人間とのインタラクションと失敗ダイナミクスの学習

Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画と失敗ダイナミクスを活用し、点群フローで身体差を埋めつつGRPOで事後学習する行動条件付きワールドモデルHF-WMを提案。

詳しい要約

1. どんなもの？

- ロボットの行動条件付き world model の研究。 - 名称は HF-WM。 - Human interaction learning と Failure-aware post-training を組み合わせる。 - 人間の egocentric 動画とロボットデータの embodiment gap を埋める。 - 成功実演に偏るデータで failure dynamics を学習する。

2. 先行研究と比べてどこがすごい？

- 既存のロボットデータセットは多様な interaction dynamics の被覆が限定的。 - 大規模 egocentric human videos は補完的だが embodiment gap が障壁。 - 成功実演が支配的で failure dynamics が過少表現。 - HF-WM は人間とロボットの interaction を統合し failure をモデル化。 - 行動条件付き video generation で SOTA を達成。

3. 技術・手法の肝は？

- dual-branch framework で video generation と auxiliary pointflow prediction を結合。 - stabilized pointflow を人間とロボットの統一 motion representation として使用。 - egocentric camera motion を抑制。 - 成功実演から perturbed actions を生成。 - GRPO post-training を action alignment と physical plausibility rewards で実施。 - ペアの ground-truth videos なしで failure dynamics を学習。

4. どうやって有効だと検証した？

- 広範な実験を実施。 - action-conditioned video generation で state-of-the-art 性能を達成。 - 下流のロボットタスクにおける policy evaluation で強い有用性を示す。 - 具体的なデータセットやベースラインは要旨からは不明。

5. 議論はある？

- 人間とロボットの embodiment gap の克服が課題。 - 成功実演に偏るデータでの failure dynamics 学習の難しさ。 - ペアの ground-truth videos なしでの failure 学習の有効性。 - 具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として action-conditioned world models、egocentric human videos、GRPO、pointflow が挙げられる。 - 同分野の定番として robot learning、imitation learning、video generation の論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Tu, Cong Wang, Hanxin Zhu, Xin Jin, Zhibo Chen

分類: cs.RO, cs.CV

原文アブストラクト

Action-conditioned world models offer a promising foundation for generalist robotic intelligence by predicting the consequences of actions. However, existing robotic datasets provide limited coverage of the diverse interaction dynamics required for generalizable world modeling. Large-scale egocentric human videos offer complementary interaction experience, yet the embodiment gap between human hands and robotic manipulators hinders effective cross-embodiment learning. Meanwhile, the predominance of successful demonstrations leaves failure dynamics substantially underrepresented, limiting the ability of world models to anticipate unsuccessful executions. To address these limitations, we introduce HF-WM, an action-conditioned world model that combines Human interaction learning with Failure-aware post-training. To bridge the embodiment gap, we develop a dual-branch framework that couples video generation with auxiliary pointflow prediction, using stabilized pointflow as a unified motion representation across human and robot interactions while suppressing egocentric camera motion. To improve failure modeling, we further perform Group Relative Policy Optimization (GRPO) post-training on perturbed actions derived from successful demonstrations, guided by action alignment and physical plausibility rewards, enabling the model to learn plausible failure dynamics without paired ground-truth videos. Extensive experiments demonstrate that HF-WM achieves state-of-the-art performance in action-conditioned video generation and exhibits strong utility for policy evaluation in downstream robotic tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI