日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.23002

時空間参照でロボット動作を編集する統合インターフェース

Robotic Spatiotemporal Editing: A Unified Interface for Controllable Action Generation via Masked Action Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

キーポイントや流れなど様々な時空間参照を同一の行動空間の部分指定として統合し、制御可能なマニピュレーションを行動インペインティング問題として解く手法を提案した。

詳しい要約

1. どんなもの?

- ロボットの生成ポリシーを多様な時空間参照で制御・編集するための統一インターフェース「MAP (Masked Action Space)」を提案する研究。 - keypoints・flows・orientations・keyposes などの時空間制御参照を、同一の時間的 Cartesian action space の部分的指定とみなし、制御可能な manipulation を action inpainting 問題として定式化する。 - Inpainting Policy (IP) が end-effector の欠損 action 次元を再構成し、実行可能なロボット行動を生成する。

2. 先行研究と比べてどこがすごい?

- 生成ポリシーは行動合成は可能だが、多様な時空間参照による制御・編集が困難という課題に対し、複数種の参照を単一の action space 上の部分指定として統一的に扱う点が特徴。 - 従来手法との具体的な比較・優位性の定量的記述は要旨からは不明。 - 異なる参照タイプを個別に扱わず action inpainting として共通化する枠組みが新規性として示唆される。

3. 技術・手法の肝は?

- 時空間参照を MAP (Masked Action Space) として統一し、action inpainting 問題に変換する。 - Inpainting Policy (IP) が end-effector の欠損 action 次元を再構成する。 - progress-guided alignment と multi-mask training を組み合わせ、未見の action-constraint の組み合わせに対応する。 - さらに training-free の RePaint variant を採用し、denoising 中に action を反復的に inpaint して制御誤差を低減する。

4. どうやって有効だと検証した?

- ManiSkill と LIBERO-10 で評価し、平均タスク成功率 92.67% と 64.67% を達成。 - 実世界実験で時空間制御を検証し、平均位置誤差 44.3 mm、回転誤差 7° を報告。 - 多様な参照が実行可能なロボット行動を導けることを示した。

5. 議論はある?

- 実世界での位置・回転誤差が残存しており、精度面の限界や改善余地が議論されうる。 - 未見の action-constraint 組み合わせへの汎化や、参照タイプ間の統一の妥当性については要旨からは不明。 - 具体的な議論・限界の記述は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、拡散モデルに基づく生成ポリシー(diffusion policy)、RePaint、action inpainting、ManiSkill、LIBERO-10 に関する論文を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanbang Li, Bu He, Yi Tian, Yu-Chiao Huang, Chenyu Zhang, Ruoqu Chen, Yuanzhe Liu, Yuxiang Gao, Mengdi Xu

分類: cs.RO

原文アブストラクト

Generative policies can synthesize robot behaviors, yet controlling and editing them through diverse spatiotemporal references remains challenging. In the real world, human intent requires robot behaviors that satisfy constraints on where, when, and how actions are executed. Our key insight is that spatiotemporal control references, such as keypoints, flows, orientations, and keyposes, can be viewed as partial specifications of the same temporal Cartesian action space. We introduce the MAP (Masked Action Space) interface to unify these action references and formulate controllable manipulation as an action inpainting problem. Our Inpainting Policy (IP) reconstructs missing action dimensions of the end-effector, combining progress-guided alignment with multi-mask training to support unseen action-constraint combinations. We further adopt a training-free RePaint variant that iteratively inpaints the action during denoising to reduce control error. On ManiSkill and LIBERO-10, our policy achieves average task success rates of 92.67% and 64.67%, respectively.Real-world experiments demonstrate spatiotemporal control with average positional and rotational errors of 44.3 mm and 7°, respectively, showing that our policy can use diverse references to guide executable robot behaviors.

関連論文

PR本紙発行元 EmplifAI