日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
視触覚マニピュレーションarXiv:2611.02677

触覚ダイナミクス予測を補助タスクに用いた視触覚拡散ポリシー

Visuo-tactile Diffusion Policy for Robotic Manipulation with Auxiliary Tactile Dynamics Prediction

シェア:XThreadsFacebookLINEはてブBluesky

2視点カメラと2本指の触覚画像の履歴を入力とする拡散ポリシーを提案し、触覚画像の変化を予測する補助タスクで学習を強化。MuJoCoの組立タスクで視覚のみのベースラインを16.3ポイント上回る成功率59.0%を達成した。

詳しい要約

1. どんなもの？

- ロボット組立作業のための visuo-tactile diffusion policy を提案する研究 - 視覚(2視点カメラ)と触覚(2本指先の tactile image)の履歴を条件に action sequence を生成 - grasping, alignment, insertion を含む long-horizon assembly を対象 - 4ステップの履歴入力を用いる点が特徴 - 2視点の camera view と 2つの fingertip tactile image を組み合わせる - 補助タスクとして tactile dynamics prediction を訓練時のみ併用

2. 先行研究と比べてどこがすごい？

- 視覚のみの baseline と比較して成功率を改善 - 全モデル: 59.0% ± 2.6% - visual-only baseline: 42.7% ± 1.5% - 改善幅は 16.3 percentage points - 視覚が global pose と scene context、触覚が局所的な contact cue を担う相補性を活用 - 接触状態の変化を捉えるため、fingertip touch を明示的に入力へ統合 - 補助目的は訓練時のみで inference-time computation を増やさない設計

3. 技術・手法の肝は？

- visuo-tactile diffusion policy により action-sequence generation を行う - 入力は 2視点 camera view と 2 fingertip tactile image の4ステップ履歴 - recurrent temporal representation で両モダリティの直近観測を統合 - auxiliary objective を追加 - temporal representation と demonstrated actions から2ステップ先の fingertip-image changes を予測 - 接触が行動下でどう変化するかを表現に学習させる狙い - この補助目的は訓練時のみ使用し、推論時計算を追加しない

4. どうやって有効だと検証した？

- MuJoCo の assembly 実験で評価 - 3つの独立した training seed で検証 - 全モデル: 59.0% ± 2.6% - visual-only baseline: 42.7% ± 1.5% - 視覚のみとの比較で 16.3 percentage points の成功率改善を報告 - ただし他の ablation や詳細な実験設定は要旨からは不明

5. 議論はある？

- 視覚と触覚の相補性、特に接触状態変化の把握が有効である可能性を示唆 - 補助目的が inference-time computation を増やさない点を利点として提示 - 成功率は 59.0% であり、long-horizon assembly としては更なる改善余地が残る - seed 間のばらつき(±2.6%)や失敗要因、他手法との比較の議論は要旨からは不明

6. 次に読むべき論文は？

- visual-only baseline との比較が示されているため、視覚のみの diffusion policy 関連研究 - tactile 入力を用いる robotic manipulation の触覚融合手法 - diffusion policy の action-sequence generation に関する研究 - MuJoCo 上の assembly ベンチマークに関する研究 - auxiliary task や tactile dynamics prediction を用いた表現学習の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaihong Ouyang, Zihao Su, Chengxuan Zheng, Weiyi Lai, Dong Zhou

分類: cs.RO

原文アブストラクト

Long-horizon robotic assembly requires reliable perception and action across grasping, alignment, and insertion. Vision captures global object pose and scene context, where as fingertip touch provides local contact cues that are especially useful as contact states change. We present a visuotactile diffusion policy that combines four-step histories from two camera views and two fingertip tactile images to condition action-sequence generation. A recurrent temporal representation integrates recent observations from both modalities. To encourage it to capture how contact evolves under action, an auxiliary objective predicts fingertip-image changes two steps ahead from the temporal representation and demonstrated actions. This objective is used only during training and adds no inference-time computation. Across three independent training seeds in MuJoCo assembly experiments, the full model achieves an average success rate of $59.0\% \pm 2.6\%$, improving on the visual-only baseline ($42.7\% \pm 1.5\%$) by 16.3 percentage points.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI