日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
キャリブレーションarXiv:2609.36779

DRHeC: RGB勾配を用いた微分可能レンダリングによるハンドアイキャリブレーション

DRHeC: Differentiable Rendering for Hand-Eye Calibration with RGB-Based Gradients

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像とマスクの幾何特徴を活用した微分可能レンダリングにより、マーカー不要で高精度かつ安定なハンドアイキャリブレーションを実現する手法を提案。

詳しい要約

1. どんなもの？

- RGB画像を用いた微分可能レンダリングによるhand-eye calibration手法DRHeCを提案。 - 従来のbinary maskベースの微分可能レンダリング手法の精度・安定性問題を改善。 - 色とマスク幾何特徴を統合し、より豊富な幾何・外観手がかりを利用。 - mask-guided image-to-image translationで色・幾何一貫性を明示的に保持。 - シミュレーションと実世界実験で有効性を検証。

2. 先行研究と比べてどこがすごい？

- 従来のmarker-based手法はmarker精度と観測性に依存。 - learning-based markerless手法は単一画像で変換計算可能だが、物理モデルに基づく解釈性に欠ける。 - 先行の微分可能レンダリング手法はbinary maskを使用するため内部プロファイル詳細が失われ精度低下。 - また不安定な最適化や局所解に陥る問題。 - 提案手法はRGBベースで色・マスク幾何特徴を組み込み、精度と最適化安定性を向上。 - 実世界UR5eでEasyHeCをgraspingで46.3ポイント、insertionで48.1ポイント上回る。

3. 技術・手法の肝は？

- RGBベースの微分可能レンダリングフレームワークを提案。 - 色とマスク幾何特徴を組み込み、豊富な幾何・外観手がかりを提供。 - mask-guided image-to-image translationを提案し、翻訳全体で色・幾何一貫性を明示的に保持。 - これによりキャリブレーション精度と最適化安定性を改善。 - 詳細なネットワーク構造や損失関数は要旨からは不明。

4. どうやって有効だと検証した？

- シミュレーションと実世界実験の両方で検証。 - 実世界UR5e実験でgrasping成功率88.9%、insertion成功率57.4%を達成。 - 最先端の微分可能レンダリングhand-eye calibration手法EasyHeCをそれぞれ46.3、48.1パーセントポイント上回る。 - 精度とロバスト性の明確な改善を示す。

5. 議論はある？

- 従来のbinary maskベース手法の問題点（内部プロファイル詳細の損失、不安定な最適化、局所解）を指摘。 - 提案手法はこれらを改善するが、限界や今後の課題については要旨からは不明。 - 実世界実験での成功率はgrasping 88.9%、insertion 57.4%であり、insertionの成功率は依然として低い。

6. 次に読むべき論文は？

- EasyHeC（state-of-the-art differentiable rendering hand-eye calibration method） - 微分可能レンダリングを用いたhand-eye calibrationの先行研究 - learning-based markerless hand-eye calibration手法 - marker-based hand-eye calibration手法 - 同分野の定番として、hand-eye calibration全般に関する古典的手法（例：Tsai-Lenz, Park-Martin）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaotian Zhang, Yusheng Wang, Naoya Kagawa, Noritaka Takamura, Keiji Okuhara, Hiroyasu Baba, Jun Ota

分類: cs.RO, cs.CV, cs.GR

原文アブストラクト

Accurate hand-eye calibration is crucial for precision manipulation. Traditional methods rely on markers, with their precision dependent on marker accuracy and observability. In contrast, markerless methods, such as learning-based approaches, use deep neural networks to directly extract keypoints or features from images, enabling the computation of hand-eye transformation with a single image and without the need for physical markers. Recently, differentiable rendering-based methods for hand-eye calibration have leveraged physical models to render binary masks and compare them with observations, enabling hand-eye calibration without fiducial markers in the calibration stage and providing interpretable optimization. While the state-of-the-art differentiable rendering methods achieve remarkable accuracy, the use of binary masks can result in the loss of internal profile details, reducing precision. Additionally, these methods can also suffer from unstable optimization and local minima. In this study, we propose a novel RGB-based differentiable rendering framework that provides richer geometric and appearance cues by incorporating color and mask geometric features, thereby improving calibration accuracy and optimization stability. Additionally, we propose a mask-guided image-to-image translation method to ensure explicit preservation of color and geometric consistency throughout the translation. Our approach is validated through both simulation and real-world experiments, with results demonstrating strong accuracy and robustness and clear improvements over existing differentiable rendering methods. Our method achieves a grasping success rate of 88.9% and insertion success rate of 57.4% on the UR5e real-world experiment, outperforming the state-of-the-art differentiable rendering hand-eye calibration method EasyHeC by 46.3 and 48.1 percentage points, respectively.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI