日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.41643

両腕マニピュレーションのための直接的行動多様体モデリング

Direct Action-Manifold Modeling for Efficient and Robust Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と固有感覚から両腕の行動チャンクを直接モデル化し、反復生成なしの1ステップ推論で高速かつ頑健な両腕操作を実現した研究。

詳しい要約

1. どんなもの？

- 両腕マニピュレーション(bimanual manipulation)のための新たな行動生成パラダイムを提案する研究。 - 視覚とproprioceptionを条件として、demonstrated bimanual action chunksがjoint-action空間の観測依存な構造的領域に集中するという見方に基づく。 - 提案手法はDirect Manifold Action Transformer (DMAT)と呼ばれ、行動生成を「cleanで観測条件付きのjoint-space action chunksの直接モデリング」として再定式化する。 - 反復的なdenoisingや数値積分を必要とせず、single-step inferenceを可能にする。

2. 先行研究と比べてどこがすごい？

- 従来のDiffusionおよびflow matching visuomotor policiesは、多峰的(multimodal)行動生成に反復的なdenoisingや数値積分を要し、latencyとexecution mismatchを生む。 - DMATはこれら反復的生成推論や補助的なtrajectory-straightening手続きに依存せず、single-step inferenceを実現する点が異なる。 - 実験ではImproved 3D Diffusion Policy (IDP3)およびDiTFlow3Dと比較し、集計success rateでそれぞれ129.1%、95.7%の相対改善。 - action chunks生成はそれぞれ2.06x、1.34x高速で、50 Nの繰り返し介入下でもrobust。

3. 技術・手法の肝は？

- 行動生成を、stochastic interpolantsからcleanで観測条件付きのjoint-space action chunksを直接モデリングする問題として再定式化。 - これにより反復的生成推論やtrajectory-straighteningを不要にし、single-step inferenceを可能にする。 - 局所的な3D geometryが予測を空間構造にanchorする。 - State-Consistent Spectral-Time Refinement (STR)が予測chunkとproprioceptionを整合させ、高周波残差(high-frequency residuals)を抑制する。

4. どうやって有効だと検証した？

- 各手法につき567回の標準およびout-of-distribution (OOD) trialを実施。 - DMATはIDP3およびDiTFlow3Dを集計success rateで上回り、相対改善は129.1%と95.7%。 - action chunks生成速度はIDP3比2.06x、DiTFlow3D比1.34x高速。 - 50 Nの繰り返し介入下でもrobust性を維持することを確認。

5. 議論はある？

- 要旨からは不明。 - ただし、提案する生成パラダイムが効率的でrobustなbimanual manipulationへの道を開くと述べられている。 - 限界や失敗ケース、OOD条件の詳細、介入実験の具体的条件などは要旨からは不明。

6. 次に読むべき論文は？

- Improved 3D Diffusion Policy (IDP3) - DiTFlow3D - Diffusion Policy - flow matching visuomotor policies - stochastic interpolants - 3D Diffusion Policy

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongren Wang, Mingyu You, Zihan Li, Zhipeng Wang, Shuo Jiang, Bin He

分類: cs.RO

原文アブストラクト

Diffusion and flow matching visuomotor policies require iterative denoising or numerical integration for multimodal action generation, introducing latency and execution mismatch. We instead consider a different formulation: conditioned on vision and proprioception, demonstrated bimanual action chunks concentrate in a structured observation-dependent region of joint-action space, making the action target more direct to model than the generative process. Based on this view, we propose the Direct Manifold Action Transformer (DMAT), which reformulates action generation as the direct modeling of clean, observation-conditioned joint-space action chunks from stochastic interpolants, thereby enabling single-step inference without relying on iterative generative inference or auxiliary trajectory-straightening procedures. Within DMAT, local 3D geometry anchors predictions to spatial structure, while State-Consistent Spectral-Time Refinement (STR) reconciles predicted chunks with proprioception and suppresses high-frequency residuals. Across 567 standard and out-of-distribution (OOD) trials per method, DMAT outperformed Improved 3D Diffusion Policy (IDP3) and DiTFlow3D in aggregate success rate, achieving relative improvements of 129.1% and 95.7%, respectively, while generating action chunks 2.06x and 1.34x faster and remaining robust under repeated 50 N interventions. These results pave the way for a novel generative paradigm for efficient and robust bimanual manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI