日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
キャリブレーションarXiv:2611.02884

AnchorHEC: 手首カメラと固定カメラのターゲットレスハンドアイキャリブレーション

AnchorHEC: Targetless Hand-Eye Calibration of Wrist and Fixed Cameras

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像・順運動学・既知のカメラ内部パラメータのみを用い、3D基盤モデルの再構成と束調整を組み合わせて手首カメラと固定カメラを同時にキャリブレーションする手法を提案した。

詳しい要約

1. どんなもの?

- 対象: wrist camera と fixed camera を併用するロボットシステム向けの、targetless な hand-eye calibration フレームワーク AnchorHEC を提案する研究。 - 入力: RGB 画像、forward kinematics (FK)、既知の camera intrinsics のみ。 - 出力: wrist camera と fixed camera の両方について camera-to-robot transform を単一の手続きで推定。 - 特徴: target や robot-body の観測を必要としない。

2. 先行研究と比べてどこがすごい?

- 従来の多くの hand-eye calibration は target や robot-body の観測に依存。 - 3D reconstruction を用いる scene-based 手法は target 不要だが、wrist camera のみを対象としていた。 - AnchorHEC は wrist と fixed の両カメラを単一手続きで扱える点が新しい。 - シミュレーションで3つの backbone にわたり、両カメラ種別平均で reconstruction-based baseline 比の誤差が translation 86.4%減、rotation 71.6%減。

3. 技術・手法の肝は?

- FK と共有の 3D foundation model reconstruction を用いて両カメラを初期化。 - FK-constrained な wrist-image bundle adjustment により、reconstruction の pose/scale 誤差の影響を低減。 - この refinement が失敗する、または inlier が少なすぎる場合、不正確な可能性のある FK pose と lens parameters の制約を緩和。 - 精錬された wrist transform と FK を用いて metric points を triangulate し、fixed-camera pose を推定。

4. どうやって有効だと検証した?

- シミュレーションで3つの backbone について評価し、reconstruction-based baseline と比較。 - 両カメラ種別平均で translation 86.4%、rotation 71.6% の誤差低減を報告。 - 物理ロボット上でも AnchorHEC を検証。 - 詳細な実験条件や指標は要旨からは不明。

5. 議論はある?

- FK の不正確さや lens parameters の誤差への対処として制約緩和を導入しているが、その限界や失敗条件の詳細は要旨からは不明。 - 3D foundation model reconstruction の品質依存性や、実機での誤差要因については要旨からは不明。 - 定量的な議論はシミュレーションと実機検証の範囲で示されるが、詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される reconstruction-based baselines(scene-based hand-eye calibration 手法)。 - 3D foundation model を用いた reconstruction 関連手法。 - FK-constrained bundle adjustment や targetless hand-eye calibration の関連研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guebin Hwang, Taeyeop Lee, Yeonseo Lee, Hyosup Shin, Sungho Jo

分類: cs.RO

原文アブストラクト

Recent robot systems combine wrist and fixed cameras, requiring camera-to-robot transforms for both. Most hand-eye calibration methods rely on targets or robot-body observations. Scene-based methods using 3D reconstruction require neither but address only wrist cameras. We introduce AnchorHEC, a targetless hand-eye calibration framework for wrist and fixed cameras in a single procedure using RGB images, forward kinematics (FK), and known camera intrinsics. We initialize both camera types using FK and a shared 3D foundation model reconstruction. FK-constrained wrist-image bundle adjustment reduces the impact of reconstructed pose and scale errors. If this refinement fails or retains too few inliers, we relax the constraints on potentially inaccurate FK poses and lens parameters. We use the refined wrist transform and FK to triangulate metric points and estimate fixed-camera poses. Across three backbones, calibration errors in simulation decrease by 86.4% in translation and 71.6% in rotation, averaged over both camera types, relative to reconstruction-based baselines. We also validate AnchorHEC on a physical robot. Project page: https://hwanggb.github.io/AnchorHEC/

関連論文

PR本紙発行元 EmplifAI