日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/動作生成arXiv:2611.23143

TCP4D: ロボットマニピュレーションのための統一的なツールセンターポイント追跡・生成モデル

TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画からTCP軌道と把持状態を追跡し、同じ4D表現を用いて将来のTCP軌道を生成する統一モデルを提案。異なる実機への動作リターゲティングによる拡張も実現した。

詳しい要約

1. どんなもの?

- ロボット操作のRGB動画から、embodiment-agnosticなtool-center-point (TCP) poseをaction spaceとして扱う統一モデルTCP4Dを提案 - 単一モデル内で、観測されたTCP運動のtrackingと将来のTCP軌道のgenerationの両方を、共有された4D scene representation上で行う - 単眼動画と初期2D TCPクエリを入力とし、trackerはmetric TCP poses in SE(3)とgripper states、scene geometry、camera parametersを復元する - generatorは同じ4D表現からTCP軌道に沿って局所特徴を抽出し、robot observationsとlanguage instructionsと組み合わせて将来のTCP状態を予測する

2. 先行研究と比べてどこがすごい?

- 従来はRGB観測からロボットのactionやgripper-stateのアノテーションを復元することが困難であった - TCP poseをembodiment-agnosticなaction spaceとして採用することで、異なるembodiment間で扱いやすい統一表現を実現 - trackingとgenerationを単一の共有4D scene representationで統合している点が特徴 - 記録済みのsource-robot statesなしに、既存RGB動画を別embodiment向けのdemonstrationsへ変換するcross-embodiment augmentation pipelineを新たに導入 - 要旨からは不明:個々の先行研究との定量的比較の詳細

3. 技術・手法の肝は?

- 中核は共有された4D scene representationで、trackingとgenerationの両方がこれを利用する - tracker:単眼動画と初期2D TCPクエリから、metric TCP poses in SE(3)、gripper states、scene geometry、camera parametersを直接復元 - generator:復元されたTCP tracksに沿って4D表現から局所特徴をサンプリングし、robot observationsおよびlanguage instructionsと統合して将来のTCP statesを予測 - cross-embodiment augmentation pipeline:復元したmotionのretargetingと対応する観測のsynthesisにより、source-robot statesなしでRGB動画を別embodimentのdemonstrationsへ変換

4. どうやって有効だと検証した?

- trackerはDROIDとRoboLabにおいて絶対軌道誤差7.60 mmおよび16.07 mmを達成 - trackerは新規embodimentに対し、わずか10 demonstrationsで適応可能であることを示す - generatorはRoboTwinで平均成功率69.19%を達成 - generatorは2つのreal-worldタスクで確立されたpolicy modelsを上回る - sourceとaugmented demonstrationsのjoint trainingにより、augmented-only trainingと比べてtarget-robotの成功率が41.5%向上

5. 議論はある?

- 要旨からは不明:限界、失敗事例、計算コスト、4D表現の品質依存性などに関する議論の詳細は述べられていない - 示唆される点として、cross-embodiment augmentationとjoint trainingの有効性がtarget-robot性能の向上に寄与することが報告されている

6. 次に読むべき論文は?

- DROID(tracker評価に用いられたデータセット) - RoboLab(tracker評価に用いられたデータセット) - RoboTwin(generator評価に用いられたベンチマーク) - 比較対象となったwell-established policy models(具体的名称は要旨からは不明) - cross-embodiment augmentationやretargetingに関連する研究(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haosong Peng, Xiangyang Liu, Zhengshen Zhang, Yunfeng Fan, Tianyu Qi, Xin Xia, Yufeng Zhan, Wenchao Xu

分類: cs.RO, cs.CV

原文アブストラクト

Robot manipulation videos provide a rich visual experience, yet recovering robot action and gripper-state annotations from RGB observations still remains challenging. Using the embodiment-agnostic tool-center-point (TCP) pose as the action space, we present TCP4D, a unified model in which a shared 4D scene representation both tracks observed TCP motion and generates future TCP trajectories. Given a monocular video and initial 2D TCP queries, the tracker directly recovers metric TCP poses in SE(3) and gripper states alongside scene geometry and camera parameters. The generator samples local features from the same 4D representation along the recovered TCP tracks, then combines them with robot observations and language instructions to predict future TCP states. Our new cross-embodiment augmentation pipeline converts existing RGB videos into demonstrations for alternative embodiments by retargeting the recovered motion and synthesizing the corresponding observations, without recorded source-robot states. Experiments show that the tracker achieves absolute trajectory errors of 7.60 and 16.07 mm on DROID and RoboLab and adapts to a new embodiment with only ten demonstrations. The generator achieves 69.19% mean success on RoboTwin and outperforms well-established policy models on two real-world tasks, while joint training on source and augmented demonstrations improves target-robot success by 41.5% over augmented-only training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI