日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.21152

KODA: 人間の一人称視点デモからヒューマノイド学習のための運動学と観測データの整合

KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の人間デモを、再利用可能な正準軌道を介してロボット視点の観測と全身状態行動ラベルに変換し、ヒューマノイドVLAポリシーの学習データを生成する手法を提案。

詳しい要約

1. どんなもの？

- 人間の egocentric RGB デモから humanoid の whole-body VLA 学習データを生成する KODA を提案。 - 再利用可能な canonical trajectory を基に robot-view 観測合成と controller 固有の whole-body state-action 監督を生成。 - Unitree G1 の loco-manipulation 4 タスクで SONIC と HEFT の 2 controller に適用。

2. 先行研究と比べてどこがすごい？

- 従来は robot データでの適応が必要な pretrain か、controller 固有コマンド生成で再利用が限定。 - KODA は canonical record を保持し controller 切替時も state-action 監督を再生成可能。 - robot データ固定でも人間デモのみカバー条件の macro-average success が 45.0/46.25 ポイント改善。

3. 技術・手法の肝は？

- sparse tracker と sampling-based command optimization で simulator-checked whole-body trajectory を生成。 - 生成 trajectory が onboard camera pose を決定し robot-view 観測を合成。 - motion・観測・task instruction を canonical record として保存。 - 各 deployment controller 向けに command を最適化し action label と proprioceptive state を記録。

4. どうやって有効だと検証した？

- Unitree G1 の loco-manipulation 4 タスクで評価。 - SONIC と HEFT の 2 whole-body controller を使用。 - robot データを固定し、人間デモにあるが robot データにない条件で macro-average success を比較。 - 人間データ budget を変えて傾向を確認。

5. 議論はある？

- 人間データ budget 増加に伴い指標が上昇傾向でさらなる scaling の可能性を示唆。 - 限界や失敗事例、計算コスト、sim-to-real ギャップなどの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている SONIC と HEFT の論文。 - 関連手法として egocentric human demonstration からの VLA 学習、whole-body VLA、humanoid loco-manipulation の定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zibo Zhou, Yueru Chen, Junsong Wu, Weiji Xie, Qingyao Xu, Sheng Yin, Shiqing Wang, Jiyuan Shi, Siheng Chen, Chenjia Bai, Xuelong Li

分類: cs.RO

原文アブストラクト

Training humanoid whole-body vision-language-action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state-action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics-Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state-action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state-action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI