日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体中心表現arXiv:2611.23578

DOCK: ロボット運動学に基づく自己教師あり物体中心表現

DOCK: Dual-Stream-Inspired Self-Supervised Object-Centric Representations Grounded in Robot Kinematics

シェア:XThreadsFacebookLINEはてブBluesky

把持物体の移動が順運動学で予測できる点を利用し、物体の「何・どこ・どう動く」を自己教師ありで学習する表現を提案。計画コストとして使うと、凍結特徴量より物体位置を正確に捉えタスク成功率が向上する。

詳しい要約

1. どんなもの?

- ロボットの把持物体を対象とした object-centric representation を自己教師ありで学習する手法 DOCK の提案 - 生物の ventral stream(what)と dorsal stream(where/how)に着想を得た二流構成 - 把持物体は gripper と共に動くという性質を利用し、forward kinematics から物体変位の proxy を注釈なしで得る - 学習した表現を latent-space planner の planning cost として用いることを想定

2. 先行研究と比べてどこがすごい?

- 従来の latent-space planner は embedding 距離が goal までの近さを反映するという仮定に依存 - 6 種の frozen DINO / V-JEPA encoder では feature distance と物体の goal 距離の rank correlation が最大 0.11 にとどまり、object-mask centroid の 0.87 に大きく劣る - 距離は背景や robot patch に支配され、frozen-feature readout は物体より arm をよく捉える - DOCK はこの仮定の破綻を示した上で、物理運動と一致する物体表現を学習する点が新しい

3. 技術・手法の肝は?

- 21 の simulated kitchen scene における 9,951 本の held-object transport trajectory から 404K の displacement pair を mining - 3 成分で構成:patch feature から pooling する object token(what) - 空間 ruler:readout 座標の差分が実測変位と一致するように学習(where) - object token 上の dynamics predictor(how) - gripper と共に動く把持物体の性質を forward kinematics による変位 proxy として利用し、注釈を不要にする

4. どうやって有効だと検証した?

- 学習表現を planning cost として用い、21 タスク中 15 で物体を配置 - 真の物体位置を読む oracle と同数であり、mask geometry の 10、frozen feature distance の 9 を上回る - 未見の robot arm が見えている場合でも最多タスクを解決 - 未見の object instance と category を含む held-out layout へ adaptation なしで ranking が転移

5. 議論はある?

- 対象は simulated kitchen scene と把持物体の transport に限定されており、実機や非把持物体への一般化は要旨からは不明 - forward kinematics による変位 proxy は把持中という条件に依存する - 背景や robot patch への支配、frozen encoder の限界という問題意識は示されるが、その根本原因の議論は要旨からは不明

6. 次に読むべき論文は?

- DINO(frozen DINO encoder) - V-JEPA(frozen V-JEPA encoder) - object-mask centroid ベースの手法 - latent-space planner における embedding distance を扱う研究 - ventral / dorsal stream に着想を得た表現学習(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengju Liu, Caiwen Ding

分類: cs.CV, cs.RO

原文アブストラクト

Latent-space planners select actions by comparing the embedding of a predicted future image with that of a goal image. This assumes that distance in the embedding reflects how far the scene is from the goal. We profile this assumption with simulator-executed futures, which removes prediction error. For six frozen DINO and V-JEPA encoders, feature distance barely tracks the object's distance to its goal: the rank correlation is at most 0.11, against 0.87 for object-mask centroids. It is dominated by background and robot patches, and frozen-feature readouts capture the arm far better than the object. Inspired by the ventral (what) and dorsal (where/how) visual streams, we propose DOCK, which learns an object representation whose changes agree with measured physical motion. A grasped object moves with the gripper, so forward kinematics on the joint angles gives a proxy for the object's displacement without annotation. From 9,951 held-object transport trajectories in 21 simulated kitchen scenes, we mine 404K displacement pairs and train three components: an object token pooled from patch features (what), a spatial ruler that makes differences of readout coordinates equal to measured displacements (where), and a dynamics predictor over object tokens (how). Used as a planning cost, the learned representation places the object in 15 of 21 tasks, as many as an oracle that reads the true object position, while mask geometry reaches 10 and frozen feature distance 9. It still solves the most tasks when the unseen robot arm is visible, and its ranking transfers to held-out layouts with unseen object instances and categories without any adaptation.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI