GraphPoint: 意味的実体グラフと点軌道による組合せ的ロボットマニピュレーション
GraphPoint: Semantic Entity Graphs and Point Trajectories for Compositional Robot Manipulation
言語指示に応じて物体と動作を組み合わせて汎化するため、意味的実体グラフと把持点の未来軌道予測を組み合わせた操作方策GraphPointを提案し、新ベンチマークCoManiで検証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kang Luo, Hesheng Wang
分類: cs.RO
原文アブストラクト
Robot manipulation policies often struggle to generalize beyond their demonstrations, even when new instructions involve familiar objects and behaviors. When language and scenes are strongly correlated during training, a policy can learn a fixed visual-action mapping rather than respond to the requested behavior. We investigate compositional reuse at two levels: within a subtask, combining familiar entities, action types, and action modifiers; and across subtasks, reusing learned subtasks in unseen long-horizon tasks. We introduce CoMani, a benchmark with controlled splits for evaluating both capabilities. Matched initial scenes and controlled changes to a single semantic factor encourage reliance on language rather than visual shortcuts. We further propose GraphPoint, which connects semantic entity graphs to geometric control by predicting future gripper point trajectories and converting them into actions using robot geometry. The framework organizes the gripper and objects by semantic roles and conditions their interactions on action types and modifiers, while predicted progress guides transitions during execution. Experiments and ablations on CoMani validate the effectiveness of our method for instruction-dependent generalization at both levels. Code will be released at GraphPoint.
関連論文
- SeeQ: 長期的ロボットマニピュレーションのための汎用価値関数の学習マニピュレーション
- グリッパを考慮した不規則物体の自動高密度パッキングマニピュレーション
- 事前学習から熟達へ：最小限の人的介入で長期的マニピュレーションを実現する実世界サブタスクRLマニピュレーション
- ForceTwin: 計測された人間の操作からロボットマニピュレーションのための物理情報デジタルツインを構築マニピュレーション
- 並列シミュレーションにおけるロボットマニピュレーションのための視覚言語報酬学習のスケーリングマニピュレーション
- 細粒度物体操作に向けて：SAM3誘導視覚運動ポリシーと持続的メモリ学習および集中視覚条件付けマニピュレーション