把持内操作2026/11/12arXiv:2611.16423

VOKE: 巧みな把持内操作のための視覚的物体キネマティクス推定器

VOKE: Visual Object Kinematics Estimator for Dexterous In-Hand Manipulation

既存の物体・手物体姿勢推定器に接続して、物体の姿勢・速度・加速度を含む完全な運動状態を推定する視覚ベースのキネマティクス認識フレームワークを提案し、姿勢推定精度の向上と速度・加速度誤差の低減を実現した。

詳しい要約

1. どんなもの？

- 視覚に基づく dexterous in-hand manipulation のための kinematics-aware な知覚フレームワーク VOKE を提案。 - 既存の object / hand-object pose estimator を拡張し、pose に加えて linear/angular velocity と linear/angular acceleration を含む完全な object kinematic state を推定する。 - 2つの知覚モジュール（PKM, KPRM）と下流応用（KARL）から構成される。

2. 先行研究と比べてどこがすごい？

- 従来の manipulation システムは off-the-shelf の視覚モデルに依存し、出力は static mask・geometry・6D pose に限られ、dynamics は下流 controller がノイズの多い視覚から暗黙に推論していた。 - VOKE は pose estimator に付加可能な形で velocity/acceleration まで明示的に推定する点が新しい。 - pose differencing と比べて velocity・acceleration の推定誤差を大幅に削減。 - 3つの異なる backbone で一貫して object pose estimation を改善。

3. 技術・手法の肝は？

- Pluggable Kinematics Module (PKM): 標準 pose estimator の出力に接続し、temporal visual features から object の linear/angular velocity と acceleration を予測する。 - Kinematics-guided Pose Refinement Module (KPRM): 推定した motion vector を second-order の motion-prior reference pose に変換し、per-frame の pose 推定を refine する。 - 下流応用として Kinematics-Augmented Reinforcement Learning (KARL) を用い、kinematics を付加した policy を pose-history baseline と比較。

4. どうやって有効だと検証した？

- DexYCB と OakInk で評価。 - 3つの異なる backbone で object pose estimation が一貫して改善。 - pose differencing と比較して velocity・acceleration の推定誤差が大幅に減少。 - simulation で policy を学習後、kinematics-augmented policy を policy fine-tuning なしで実機に転送し、perception-to-control 経路を実証。

5. 議論はある？

- 実機転送を fine-tuning なしで行えた点は示されているが、詳細な議論や限界は要旨からは不明。 - どの backbone を用いたか、エラーの定量値、実機タスクの詳細は要旨からは不明。

6. 次に読むべき論文は？

- DexYCB - OakInk - 標準的な object / hand-object pose estimator（backbone として比較されたもの） - pose differencing ベースの velocity/acceleration 推定 - Kinematics-Augmented Reinforcement Learning (KARL) 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengjia Zhu, Wenqiang Xu, Lin Shao

分類: cs.RO

原文アブストラクト

Vision-based dexterous in-hand manipulation requires knowing not only where an object is, but also how it moves. However, most robotic manipulation systems rely on off-the-shelf visual perception models whose outputs are limited to static object masks, geometry, or 6D poses, leaving downstream controllers to infer object dynamics implicitly from noisy visual observations. We present VOKE, a kinematics-aware perception framework that augments existing object and hand-object pose estimators to recover a complete object kinematic state comprising pose, linear and angular velocity, and linear and angular acceleration. VOKE contains two core perception modules and a downstream application study. First, a Pluggable Kinematics Module (PKM) attaches to the output of a standard pose estimator and predicts the object's linear and angular velocity and acceleration from temporal visual features. Second, a Kinematics-guided Pose Refinement Module (KPRM) converts this motion vector into a second-order, motion-prior reference pose and refines the per-frame pose estimates. We evaluate VOKE on DexYCB and OakInk, where it consistently improves object pose estimation across three different backbones and substantially reduces velocity and acceleration estimation error compared with pose differencing. As a downstream application, we use Kinematics-Augmented Reinforcement Learning (KARL) to compare a kinematics-augmented policy with a pose-history baseline. After training the policies in simulation, we transfer the kinematics-augmented policy to the physical robot without policy fine-tuning, demonstrating the complete perception-to-control pathway in the target domain.

arXivで原文を読む →arXiv概要ページ

VOKE: 巧みな把持内操作のための視覚的物体キネマティクス推定器

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事