日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ハンドアイキャリブレーションarXiv:2611.02999

SyncHeC: 微分可能レンダリングと連続時間最適化によるマーカーレス時空間ハンドアイキャリブレーション

SyncHeC: Markerless Spatio-Temporal Hand-Eye Calibration via Differentiable Rendering and Continuous-Time Joint Optimization

シェア:XThreadsFacebookLINEはてブBluesky

単一のロボット軌道からカメラ幾何と画像・関節状態間の時間オフセットを同時推定する微分可能レンダリングベースのハンドアイキャリブレーション手法を提案し、ポリシー学習・展開時のオフセット補償で成功率を8.1ポイント向上させた。

詳しい要約

1. どんなもの?

- マーカーレスで連続運動中のhand-eye calibrationを行う枠組み「SyncHeC」 - 単一のrobot trajectoryからcamera geometryと画像・joint states間のtime offsetを同時推定 - dense differentiable renderingを基盤とする - Eye-to-Hand、Eye-in-Hand、multi-camera calibrationに対応 - 7-DoF armでの評価を含み、複数arm・複数depth sensorに展開

2. 先行研究と比べてどこがすごい?

- 従来のmarker-based calibrationやCM-Calibと比較 - 同一記録でCM-Calibに対しtranslation誤差3.7倍、nominal latency誤差2.3倍改善 - marker-board参照で0.21cm translation誤差、touch-testで0.34cm - 87ms参照に対し2.7msのlatency誤差(95% uncertainty ±1.5ms) - 7 arm・4 depth sensorにまたがる実験で汎用性を示す

3. 技術・手法の肝は?

- continuous-time forward kinematicsによりlatencyを微分可能に扱う - metric depthとmask contoursを相補的に利用 - offline plannerがspatial sensitivityとtemporal excitationを組み合わせる - alternating updatesでcamera geometryとtime offsetを交互最適化 - dense differentiable renderingで画像とjoint statesを統合的に最適化

4. どうやって有効だと検証した?

- 7-DoF armで6.5sの単一motionを実行 - marker-board参照との比較でtranslation誤差0.21cm - touch-testで0.34cm誤差 - 87ms参照に対しlatency誤差2.7ms(95% uncertainty ±1.5ms) - CM-Calibとのmatched recordings比較 - 7 arm・4 depth sensorでの実験 - policy training/deploymentでoffset補償によりsuccess率8.1ポイント向上(6 families・6 tasks、1,800 matched pairs、95% CI [6.3,9.9])

5. 議論はある?

- 要旨からは不明 - ただしmarkerless・continuous motion・single trajectoryでの推定可能性を示す - latency補償がpolicyのsuccess率向上に寄与する点を報告 - 限界や失敗条件についての議論は要旨からは不明

6. 次に読むべき論文は?

- CM-Calib(比較対象として明示) - differentiable renderingを用いたcalibration関連研究 - continuous-time forward kinematicsやtime offset推定の関連手法 - marker-based hand-eye calibrationの標準手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengdong Hong

分類: cs.RO

原文アブストラクト

Markerless hand-eye calibration under continuous motion requires jointly resolving camera geometry and the time offset between images and joint states. We present SyncHeC (Synchronized Hand-Eye Calibration), a dense differentiable-rendering framework that estimates both from a single robot trajectory. Continuous-time forward kinematics makes latency differentiable, metric depth complements mask contours, and an offline planner combines spatial sensitivity with temporal excitation. Alternating updates support Eye-to-Hand, Eye-in-Hand, and multi-camera calibration. On a 7-DoF arm, one $6.5$\,s motion yields $0.21$\,cm translation error against a marker-board reference, $0.34$\,cm touch-test error, and $2.7$\,ms latency error relative to an $87$\,ms reference with $95\%$ uncertainty of $\pm1.5$\,ms. Against CM-Calib on matched recordings, translation and nominal latency errors improve by $3.7\times$ and $2.3\times$. Experiments span seven arms and four depth sensors. Compensating the recovered offset during policy training and deployment increases success by $8.1$ percentage points across six families and six tasks ($1{,}800$ matched pairs; paired $95\%$ confidence interval $[6.3,9.9]$ points).

PR本紙発行元 EmplifAI