日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
触覚arXiv:2610.22932

Ego2Contact：一人称視点の人間動画から触覚を予測し接触の多いロボット操作に活用

Ego2Contact: Predicting Touch from Egocentric Human Video for Contact-Rich Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の一人称視点RGB動画から両手の触覚場を予測するモデルを学習し、解剖学的対応付けでロボットの触覚レイアウトに適応させ、シミュレーションと実機の操作ポリシーに触覚入力を供給した研究。

詳しい要約

1. どんなもの？

- 人間の egocentric video から接触位置・力を予測し、robot hand に転移する枠組み Ego2Contact の提案。 - 視覚のみでは曖昧な contact location と interaction force を補う tactile 信号を RGB video から推定。 - 予測器は bimanual tactile fields を推論し、robot の tactile layout と canonical grid を anatomical region correspondences で対応付ける。 - 適応後の予測を simulated reinforcement learning と real-robot policy post-training の入力として利用。

2. 先行研究と比べてどこがすごい？

- 従来の tactile predictor は tactile-glove 付き egocentric recordings で学習されるが、human hands に限定されていた。 - robot hands は見た目・tactile layout が human hands と異なるため、そのままでは転移できない課題があった。 - Ego2Contact は human interactions から visual-tactile prior を学び robot hands へ転移する点が新しい。 - human data では unseen objects を含め prior tactile predictors を上回り、robot data でも adaptation 後に優位と報告。

3. 技術・手法の肝は？

- predictor は temporal scene context と hand-local visual features を融合し、RGB video から bimanual tactile fields を推定。 - anatomical region correspondences により、異なる robot tactile layouts を predictor の canonical grid に整列。 - これにより robot measurements を fine-tuning targets に変換し、予測を policy inputs として利用可能にする。 - human-learned visual-tactile prior を robot 側の tactile layout に適応させる設計が肝。

4. どうやって有効だと検証した？

- human data で prior tactile predictors と比較し、unseen objects を含めて性能を評価。 - robot data では adaptation 後の性能を prior predictors と比較。 - 適応済み predictor を simulated reinforcement learning と real-robot policy post-training に組み込み。 - simulation では predicted touch を用いた policy が non-tactile baselines を上回り、ground-truth tactile sensing の利点の一部を回復。

5. 議論はある？

- human-learned tactile priors が直接 tactile sensing の限られる状況で touch を供給できる可能性を示す。 - simulation では ground-truth tactile の利点を部分的にしか回復できず、予測精度や転移の限界が議論点。 - real-robot での policy post-training への利用は述べられるが、詳細な比較結果は要旨からは不明。 - robot tactile data の不足を human video で補う際の汎化性・layout 対応の妥当性は要旨からは不明。

6. 次に読むべき論文は？

- tactile-glove 付き egocentric recordings で学習する prior tactile predictors（具体名は要旨からは不明）。 - visual-tactile prior の human-to-robot transfer に関する関連研究（具体名は要旨からは不明）。 - contact-rich robot manipulation における tactile sensing / reinforcement learning の定番手法（具体名は要旨からは不明）。 - egocentric video からの tactile 推定・hand-object interaction 認識の関連研究（具体名は要旨からは不明）。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qianqian Yang, Dayou Li, Bangya Liu, Zihao Zhu, Nuo Chen, Siyuan Xu, Hezhen Hu, Chen Yu, Rebecca Friesen, Minghui Zheng, Cynthia Hipwell, Xiaoning Qian, Kenji Shimada, Zhiwen Fan

分類: cs.RO

原文アブストラクト

Contact locations and interaction forces are critical for contact-rich robot manipulation but are often ambiguous from vision alone. Measuring them on robots requires specialized tactile hardware and platform-specific data collection, which keeps robot tactile data scarce. Human egocentric video is far easier to scale but lacks touch. Recent predictors trained on egocentric recordings paired with tactile-glove measurements can predict this missing signal from video alone. These predictors, however, remain confined to human hands, which differ from robot hands in appearance and tactile layout. We present Ego2Contact, which learns a visual-tactile prior from human interactions and transfers it to robot hands. Its predictor fuses temporal scene context with hand-local visual features to infer bimanual tactile fields from the RGB video. Anatomical region correspondences align varying robot tactile layouts with the predictor's canonical grid, turning robot measurements into fine-tuning targets and predictions into policy inputs. Ego2Contact outperforms prior tactile predictors on human data, including unseen objects, and on robot data after adaptation. The adapted predictor provides tactile inputs for both simulated reinforcement learning and real-robot policy post-training. In simulation, policies using predicted touch outperform non-tactile baselines and recover part of the benefit of ground-truth tactile sensing. These results show that human-learned tactile priors can supply touch when direct tactile sensing is limited.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI