日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24585

人間の一人称視点データから器用な操作を学習する離散監督と並列連続ストリーム

SHAPE: Discrete Supervision and Parallel Continuous Streams for Learning Dexterous Manipulation from Egocentric Human Data

シェア:XThreadsFacebookLINEはてブBluesky

人間の一人称視点映像からロボットの器用な操作を学習するため、EEFチャンクの離散行動トークンによる補助監督と、EEF・関節の2つの実行ストリームを出力するVLAモデルSHAPEを提案した。

詳しい要約

1. どんなもの?

- 自己中心視点の人間記録から双腕・22-DoF ハンドの器用な操作を学習するための VLA モデル SHAPE を提案 - 人間記録は安価だが joint 位置や actuator 命令が無く、retargeted EEF 行動しか与えない点が出発点 - 骨格は EEF chunk の離散 action token を補助タスクとして予測し、共有 flow-matching expert が EEF と joint の 2 つの実行可能ストリームを出力 - 展開時は標準制御パイプライン下で joint 直接読み出しと IK ベース EEF 読み出しを状況に応じて使い分け

2. 先行研究と比べてどこがすごい?

- 人間記録のみからロボット方策を監督する設定で、離散 supervision が人間データ学習を助けることを matched study で示す - 6 タスクで joint 直接読み出しが 0.80、π0.5 が 0.63 と比較優位 - 人間からロボットへの転移では IK ベース EEF 読み出しが優れることを示し、読み出し方の使い分けを提示 - 人間データで pretrain した SHAPE がタスク特化ロボットデータ無しで人間デモから新規タスクを学習

3. 技術・手法の肝は?

- VLA backbone が EEF chunk の離散 action token を補助タスクとして予測し、backbone 勾配を駆動 - 共有 flow-matching expert が EEF と joint の 2 ストリームを並列に出力 - 展開時は joint 直接読み出しと IK ベース EEF 読み出しの 2 経路を標準制御パイプラインで実行 - 離散 supervision がドメイン横断で action 情報を持つ表現を形成

4. どうやって有効だと検証した?

- 双腕・22-DoF ハンドのロボットで matched study を実施 - 離散 supervision が backbone 勾配を駆動し action-informative 表現を形成することを確認 - 6 タスクで joint 直接読み出し 0.80 対 π0.5 0.63 を報告 - 人間データ pretrain 後にタスク特化ロボットデータ無しで人間デモから新規タスク学習を検証

5. 議論はある?

- 人間とロボットの形態・運動学の差により人間記録は retargeted EEF 行動のみを与える制約 - joint 直接読み出しはロボットデモ下の細粒度制御に強く、IK ベース EEF 読み出しは人間からロボットへの転移に強いという読み出し選択のトレードオフ - 離散 supervision の寄与は matched study で示されるが、他形態や他タスクへの一般性は要旨からは不明

6. 次に読むべき論文は?

- π0.5 - flow-matching に基づく VLA 方策 - egocentric human data を用いた human-to-robot transfer - retargeting と IK ベース EEF 制御 - 離散 action token による supervision

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaping Li, Zhihong Liu, Jiacheng Li, Yi Yang, Wenchao Yue, Mingzhe Ye, Xiangcheng Liu, Yiyang Chen, Haotian He, Qi Zhang, Haonan Wang, Dahua Lin, Zhijie Deng

分類: cs.RO

原文アブストラクト

Egocentric human recordings are far cheaper than dexterous robot demonstrations, promising stronger pretraining and direct skill learning without task-specific robot data. Yet humans and robots differ in morphology and kinematics, so human recordings lack the joint positions and actuator commands that supervise robot policies, providing only retargeted end-effector (EEF) actions. This raises two questions: how human data should supervise the policy, and how a dexterous robot should read out actions at deployment. We address both in SHAPE (Supervision from Human Action tokens with Parallel Executable streams), a vision-language-action (VLA) model whose backbone predicts discrete action tokens of EEF chunks as an auxiliary task, while a shared flow-matching expert outputs two executable streams, EEF and joint. On a bimanual robot with 22-DoF hands, a matched study shows that discrete supervision helps learn from human data, driving backbone gradients and shaping action-informative representations across domains. Under standard control pipelines at deployment, direct joint readout excels at fine-grained control with robot demonstrations, scoring 0.80 across six tasks against 0.63 for π0.5, whereas IK-based EEF readout excels at human-to-robot transfer. Pretrained with human data and discrete tokens, SHAPE learns new tasks from human demonstrations without task-specific robot data.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI