日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス転送arXiv:2611.24182

身体性ギャップを橋渡しする3D人間→ロボットアフォーダンス転送

ART: Bridging the Embodiment Gap in 3D Human-to-Robot Affordance Transfer

シェア:XThreadsFacebookLINEはてブBluesky

人間の手のアフォーダンスをロボットのエンドエフェクタに合わせて変換する新タスクを提案し、人間とロボット両方のラベルを持つ大規模3DデータセットHPADと変換ネットワークARTを構築した。

詳しい要約

1. どんなもの?

- 3D affordance を介した人間からロボットへの転移タスク「3D Human-to-Robot Affordance Transfer」を新たに設定した研究。 - 人間の prior をそのままロボットに適用すると、hand と end-effector の構造・形態差で affordance が不整合になる問題を扱う。 - 大規模 3D affordance benchmark「Human-Robot Paired Affordance Dataset (HPAD)」を構築。 - 2,137 objects、80 categories、13 atomic action primitives、27,000 以上の object-action pairs。 - 各物体に human-prior と simulation-validated robot label の両方を付与。 - 提案手法「3D Affordance tRansfer neTwork (ART)」により、human prior を robot-actionable な分布へ再構成する。

2. 先行研究と比べてどこがすごい?

- 既存研究は human priors を直接参照するものが主流で、affordance が agent の embodiment に結合している点を見落としていた。 - 本研究は human hand と robot end-effector の構造・形態差に起因する affordance misalignment を明示的な問題として定式化。 - HPAD は、全物体に human-prior と simulation-validated robot label を併記した初の大規模 3D affordance benchmark と主張。 - ART は human prior の geometric false positives 除去と、human-robot 間の topological mismatch 解消を組み込む点で先行手法と異なる。

3. 技術・手法の肝は?

- タスク設定: 人間の affordance prior をロボットの embodiment に合わせて転移する 3D Human-to-Robot Affordance Transfer を定義。 - ART の構成: - reliability gating stream: human prior に含まれる geometric false positives をフィルタリング。 - hierarchical reconstruction: prior を robot-actionable な分布へ再構成。 - graph-diffusion refinement: human と robot の affordance 間の topological mismatch を解消。 - HPAD により、human-prior と simulation-validated robot label の対を学習・評価に利用。

4. どうやって有効だと検証した?

- HPAD 上での実験により、提案タスクの信頼性と ART の優位性を確認。 - 6-DoF arm と parallel-jaw gripper を用いた実機検証を実施。 - 12 objects、4 action categories、2,400 executions の benchmark。 - ART は自身の 480 trials で 86.5% の best success rate を達成。 - 転移パラダイムの実用性を実機実行で確認したと報告。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、human prior と robot label の対応付けの一般性、simulation-validated label と実機性能の差、graph-diffusion refinement の計算コストや他 embodiment への拡張性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明記されていない。 - 関連手法として、3D affordance learning、human-to-robot transfer、simulation-validated affordance annotation、graph diffusion を用いた affordance refinement の代表的論文を次に読む候補として挙げる。 - HPAD や ART の project page で引用文献を確認するのが妥当。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zichen Zhang, Wei Zhai, Xuji Zhang, Yang Cao, Yu Kang

分類: cs.CV

原文アブストラクト

3D affordance acts as a critical link between perception and action, providing priors for robotic manipulation. While existing approaches predominantly leverage human priors as direct references, they often overlook that affordance is not an object-intrinsic property but is inherently coupled with the agent's embodiment. Due to the structural and morphological disparities between human hands and robot end-effectors, directly applying human priors causes severe incompatibility for robotic execution. Motivated by this, we introduce a novel task setting, 3D Human-to-Robot Affordance Transfer, which addresses the affordance misalignment arising from distinct embodiment structures. To support this task, we construct the Human-Robot Paired Affordance Dataset (HPAD), the first large-scale 3D affordance benchmark in which every object is annotated with both human-prior and simulation-validated robot labels. HPAD covers 2,137 objects across 80 categories and 13 atomic action primitives, yielding over 27,000 object-action pairs. On top of HPAD, we propose the 3D Affordance tRansfer neTwork (ART). ART first filters geometric false positives in the human prior via a reliability gating stream, then reconstructs the prior into a robot-actionable distribution through hierarchical reconstruction and a graph-diffusion refinement that resolves the topological mismatch between human and robot affordances. Experiments on HPAD demonstrate the reliability of the proposed task and the superiority of ART. We further validate ART on a 6-DoF arm with a parallel-jaw gripper in a 2,400-execution benchmark across 12 objects and 4 action categories; ART attains the best success rate (86.5% over its 480 trials), confirming the practicality of the transfer paradigm. Project page: https://derek0907.github.io/ART/

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI