日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25683

触覚で動作を洗練させるタイミングを学ぶ器用把持VTLAポリシー

TipDex-VTLA: Learning When to Refine Actions with Touch for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚の信頼度推定と触覚予測の照合を組み合わせ、照明変化下でも触覚を使って実行中の動作を補正するVTLAポリシーを提案し、実機4タスクで高い成功率を示した。

詳しい要約

1. どんなもの?

- 視覚-触覚-言語-行動(VTLA)ポリシー「TipDex-VTLA」の提案 - 照明変化による視覚の信頼性低下で生じるaction driftに対処 - 触覚フィードバックをいつ・どう使って行動を補正するかを制御 - 実世界4タスクとUniVTACシミュレーションで評価

2. 先行研究と比べてどこがすごい?

- 既存VTLAは触覚を組み込むが、照明変化下での補正のタイミングと方法が課題 - 視覚のaction reliability推定と触覚予測検証を組み合わせて実行時補正を制御 - 通常照明データのみで学習し、未見の厳しい照明下でも頑健 - 実世界で平均full-task成功率87.5%(通常)/73.8%(厳しい未見照明)を達成し、一部SOTAを大きく上回る

3. 技術・手法の肝は?

- Visual Action Sensitivity Estimation (VASE): 凍結reference policyの照明摂動に対するaction sensitivityから視覚信頼性を学習 - Tactile Anticipation and Correction during Execution (TACE): 同一時刻の予測触覚と実測触覚を比較 - そのdiscrepancyと視覚信頼性を組み合わせ、未実行actionへのbounded feature correctionsをgate - 触覚による補正の可否・強度を実行時に調整

4. どうやって有効だと検証した?

- 実世界のdexterous manipulation 4タスクで評価 - UniVTACシミュレーションベンチマークでも評価 - 通常照明データで学習し、通常照明と厳しい未見照明の両条件でfull-task成功率を測定 - 一部state-of-the-art手法と比較し有意に優位と報告

5. 議論はある?

- 照明変化によるaction driftへの対処が主眼 - 視覚信頼性と触覚予測検証の組み合わせで補正をgateする設計の有効性を示唆 - 詳細なablationや限界、計算コスト、他摂動への一般性は要旨からは不明 - データとソースコードを公開予定

6. 次に読むべき論文は?

- 比較対象のstate-of-the-art VTLAポリシー(具体名は要旨からは不明) - UniVTACベンチマーク関連研究 - vision-tactile-language-action (VTLA)ポリシーの先行研究 - tactile feedbackを用いたdexterous manipulationの定番手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xudi Ge, Yepeng Liu, Haifeng Liu, Enze Shi, Liangqi Zhang, Yongchao Xu

分類: cs.RO, cs.AI

原文アブストラクト

Changes in illumination can induce action drift in dexterous manipulation even when the physical state remains unchanged. Although existing vision--tactile--language--action (VTLA) policies incorporate tactile feedback, when and how touch refines actions under changing visual conditions remains challenging. We introduce \textbf{TipDex-VTLA}, a VTLA policy that combines estimated visual action reliability and tactile forecast verification to regulate execution-time refinement. Specifically, Visual Action Sensitivity Estimation (VASE) learns visual reliability from a frozen reference policy's action sensitivity to illumination perturbations. Tactile Anticipation and Correction during Execution (TACE) compares predicted and measured touch at matched times and combines the resulting discrepancy with visual reliability to gate bounded feature corrections for unexecuted actions. This effectively helps to refine actions under challenging unseen visual conditions. We evaluate TipDex-VTLA on four real-world dexterous manipulation tasks and the UniVTAC simulation benchmark. TipDex-VTLA trained on data collected under normal visual conditions, achieves average full-task success rates of 87.5% (resp. 73.8%) under normal (resp. challenging unseen) lighting in real-world tasks, significantly outperforming some state-of-the-art methods. We will release the collected data and source code.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI