日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
触覚arXiv:2610.27613

触覚のインコンテキスト学習による実体化タスクエージェントの精密マニピュレーション

Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning

シェア:XThreadsFacebookLINEはてブBluesky

触覚経験をインコンテキスト学習でエージェントに組み込み、モデル更新なしで精密マニピュレーションを実現できるか検証した研究。触覚観察を加えることでシミュレーションと実機のタスク成功率が向上した。

詳しい要約

1. どんなもの？

- tactile experience を in-context learning で embodied task agent に組み込むシステム Tactile-ETA の提案 - タスク固有のモデル学習なしに fine manipulation が可能かを問う研究 - expert demonstration に camera views と bilateral tactile observations を対応付けて利用 - モデルパラメータを更新せず、general-purpose robot tools 経由で行動選択

2. 先行研究と比べてどこがすごい？

- 従来の tactile を用いた manipulation はタスク固有のモデル学習を要することが多い - 本研究はパラメータ更新なしの in-context learning で tactile 経験を活用 - 同一の2つの expert demonstrations と sensing/execution interface を固定した比較で tactile 追加の効果を分離 - シミュレーションで平均成功率 15.75% から 24.00% へ向上

3. 技術・手法の肝は？

- 各 recorded robot movement に camera views と bilateral tactile observations を対にする - tactile 観測は movement の開始と終了を保持し、間で tactile images が大きく変化する2時点を追加 - demonstration と現在の vision・tactile・proprioception を組み合わせて agent が行動選択 - general-purpose robot tools を用い、モデルパラメータは更新しない

4. どうやって有効だと検証した？

- 4つの simulated manipulation tasks で評価 - tactile observations 追加により平均成功率が 15.75% から 24.00% へ上昇 - sensory content と representation of demonstrations への依存性を追加実験で確認 - Lift Bottle で agent models 間の差を比較 - 実機タスクで visual と tactile を aligned した demonstration により成功率 0% から 60% へ向上

5. 議論はある？

- 性能が demonstration の sensory content と representation に依存することが示唆される - 同一システム構成でも agent model により Lift Bottle で大きな差 - tactile 経験を context で使う fine manipulation の実現可能性を示す - 他の sensory inputs へ embodied task agent を拡張する道筋を示唆 - 限界や失敗要因の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な先行研究は不明 - 関連手法として in-context learning を用いる embodied task agent、general-purpose robot tools、tactile-based manipulation の代表的研究を次に読むべき - Lift Bottle での agent model 比較に関連する基盤モデル/agent 研究も候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yubang Wang, Zezheng Huai, Yifei Zhang, Jinhao Wu, Yitong Chen, Haozhe Zhang, Sixian Li, Jingjing Gong, Zhenyang Lin, Ziyang Chen, Xipeng Qiu

分類: cs.RO

原文アブストラクト

Can embodied task agents use tactile experience to perform fine manipulation without task-specific model training? We investigate this capability through Tactile-ETA, a system that incorporates tactile experience into an embodied task agent through in-context learning. Successful expert demonstrations show how contact changes during manipulation. We pair each recorded robot movement with its camera views and bilateral tactile observations. We keep tactile observations at the start and end of each movement and add two neighboring time points when the tactile images change markedly in between. The agent combines these demonstrations with current vision, tactile observations, and proprioception to select actions through general-purpose robot tools, without updating model parameters. Across four simulated manipulation tasks, adding tactile observations to the same two expert demonstrations increases average success from 15.75% to 24.00%, with current sensing and execution interfaces held fixed. Further experiments show that performance depends on the sensory content and representation of demonstrations, while comparing agent models on Lift Bottle reveals substantial differences under the same system configuration. On the real-robot tasks, demonstrations with aligned visual and tactile observations increase the task success rate from 0% to 60%. These findings demonstrate the feasibility of using tactile experience in context for fine manipulation and suggest a path toward extending embodied task agents to additional sensory inputs.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI