日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.04522

行動意図を橋渡しに：人間視点動画からロボットへ操作知識を転移する手法

Action Intent as a Bridge: Transferring Manipulation Knowledge from Human-Centric Videos to Robots

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から明示的な行動意図を抽出し、人間とロボットで共有する意図空間で対応付けることで、実機データなしに操作知識をロボットへ転移する二段階手法AITを提案した。

詳しい要約

1. どんなもの？

- 研究対象は、Vision-Language-Action (VLA) モデルにおける実ロボットデータ依存の削減。 - 人間中心動画 (human-centric videos) からロボット操作知識を転移する手法 Action-Intent Transfer (AIT) を提案。 - 2段階構成：(1) 操作動画から明示的な action intent を抽出し、暗黙の action intent を分離、(2) 人間とロボットのドメインを共有 intent 空間で整列し、実行可能なロボット action にデコード。 - シミュレーションと実環境の両方で評価。

2. 先行研究と比べてどこがすごい？

- 既存手法は latent action representation を抽出するが、scene-specific noise と絡み合い、転移知識が希薄化する問題があった。 - AIT は人間とロボットで共有される clean な action representation を介して転移する点が異なる。 - 実験で prior baselines を一貫して上回り、人間知識の転移がより効果的と報告。

3. 技術・手法の肝は？

- 第1段階：操作動画から明示的な action intents を抽出し、暗黙の action intent を分離 (disentangle)。 - 第2段階：共有 intent 空間内で人間ドメインとロボットドメインを整列 (align) し、intent を実行可能なロボット action にデコード。 - 鍵は、scene-specific noise を避けたクリーンな action representation を人間とロボットで共有すること。

4. どうやって有効だと検証した？

- シミュレーション環境と実世界環境の両方で extensive experiments を実施。 - 結果として AIT が prior baselines を一貫して上回り、人間知識をより効果的に転移できることを示した。 - 具体的なデータセット名・評価指標・被験者数などは要旨からは不明。

5. 議論はある？

- 既存の latent action representation が scene-specific noise と絡み合うという限界を動機として明示。 - AIT は明示的 intent と暗黙 intent の分離によりこの問題を緩和する立場。 - 具体的な限界・失敗事例・計算コスト・倫理的議論は要旨からは不明。

6. 次に読むべき論文は？

- 比較対象として言及される prior baselines の具体的名称は要旨からは不明。 - 関連手法として Vision-Language-Action (VLA) モデル、latent action representation を用いる人間動画からの転移手法、action intent 抽出・disentanglement 関連研究を挙げる。 - 同分野の定番として、人間動画からのロボット学習 (learning from human videos) や video pretraining の研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiqian Xia, Lianyang Ma, Haifeng Xia, Siyu Xia, Wei Wang, Xiaochun Cao

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have achieved promising performance for generalized robotic manipulation, yet their reliance on expensive real-robot data remains a fundamental bottleneck. A scalable alternative is to transfer knowledge from off-the-shelf human-centric videos. However, existing methods extract latent action representations that are entangled with scene-specific noise, diluting the transferred knowledge. Motivated by this limitation, we propose Action-Intent Transfer (AIT), a two-stage method that transfers knowledge through a clean action representation shared across humans and robots. In the first stage, AIT extracts explicit action intents and disentangles the implicit action intent from manipulation videos. In the second stage, AIT aligns the human and robot domains within this shared intent space and decodes the intent into executable robot actions. Extensive experiments in both simulation and real-world environments demonstrate that AIT transfers human knowledge more effectively and consistently outperforms prior baselines.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI