日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24360

姿勢変化に頑健な少数ショットVLAモデル

Towards Pose-Robust Few-Shot Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

カメラとロボット基部の位置ずれを単一RGB-Dフレームから推定し、画像・状態・動作を校正視点に正規化することで、少数デモのVLAポリシーを姿勢変化に頑健にするWACOを提案。

詳しい要約

1. どんなもの?

- VLA modelを少数のdemonstrationでfine-tuneしてmanipulation policyを実機に載せる際、cameraとrobot baseがデータ収集時からずれると失敗する問題を扱う研究。 - camera-to-base extrinsicの変化を単一の現象として捉え、それをundoするWACO (world-anchored canonicalization framework)を提案。 - RGB-D 1フレームからextrinsicのずれを推定し、画像・state・action・start poseをcalibration視点/基準フレームへcanonicalizeする。 - LIBERO-PoseShiftというcamera/base/compound shiftを段階的に評価する初のbenchmarkも導入。

2. 先行研究と比べてどこがすごい?

- 標準的なfew-shot recipeやprior viewpoint-robust手法と比較して、shifted successをsimulationで+13.2 points、real robotで+36.7 points向上。 - ground-truth oracleに対するgapの90% (simulation) と87% (real robot) を回復。 - perturbed training dataを使わず、test-time calibrationも行わない手法の中で新たなstate of the artを達成。 - camera shiftとbase shiftを別々ではなく同一のextrinsic変化として統一的に扱う点が新しい。

3. 技術・手法の肝は?

- forward kinematicsでmeasured joint anglesから配置したarmをmetric calibration targetとして利用。 - static sceneをworld anchorとし、cameraが動いたのかrobotが動いたのかを識別。 - 単一RGB-D frameからground-truth extrinsicsや追加データなしに両shiftを推定。 - 画像をcalibration viewpointへ、state/action/start poseをcalibration base frameへcanonicalize。 - unmodified policyを、自身のestimatorのartefacts下でfine-tuneする。

4. どうやって有効だと検証した?

- LIBERO-PoseShift、LIBERO-Plus camera track、UR5e robot上の4つのreal-world taskで評価。 - 標準few-shot recipeおよびprior viewpoint-robust methodsと比較し、一貫した性能向上を確認。 - simulationで+13.2 points、real robotで+36.7 pointsのshifted success改善を報告。 - ground-truth oracleとのgap回復率 (90% simulation, 87% real robot) で有効性を定量化。

5. 議論はある?

- 要旨からは不明。 - ただしestimatorのartefacts下でのfine-tuneや、ground-truth extrinsics不要という設計上の前提・限界については本文での議論が想定される。 - test-time calibrationなしで動作する点の汎化性や、compound shiftへの頑健性が論点になり得る。

6. 次に読むべき論文は?

- LIBERO-PoseShift (本論文で導入されたbenchmark) - LIBERO-Plus (camera trackで比較) - prior viewpoint-robust methods (具体的名称は要旨からは不明) - 同分野の定番としてvision-language-action (VLA) modelsやfew-shot fine-tuningに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Li, Zhongyi Han, Yuhao Wei, Liang Han, Yilong Yin, Liqiang Nie

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Fine-tuning a vision-language-action (VLA) model on a few dozen demonstrations is the standard way to put a manipulation policy on a robot, yet the resulting policy silently assumes that the camera and the robot base stay exactly where they were during data collection: a bumped tripod or a base re-docked a few centimetres away makes it reach for the wrong place. We show that both failures are one phenomenon, a change of the camera-to-base extrinsic that the policy has memorised, and that the robot carries everything needed to undo it. We introduce WACO, a world-anchored canonicalization framework for VLA models: the arm, placed by forward kinematics at the measured joint angles, serves as a metric calibration target, and the static scene serves as the world anchor that tells a moved camera from a moved robot. From a single RGB-D frame, WACO estimates both shifts without ground-truth extrinsics or extra data, canonicalises the image to the calibration viewpoint and the state, action and start pose to the calibration base frame, and fine-tunes the unmodified policy under the artefacts of its own estimator. We also introduce LIBERO-PoseShift, the first benchmark for RGB VLAs with graded camera, base and compound shifts. Across LIBERO-PoseShift, the LIBERO-Plus camera track and four real-world tasks on a UR5e robot, WACO consistently outperforms the standard few-shot recipe and prior viewpoint-robust methods, raising shifted success by 13.2 points in simulation and by 36.7 points on the real robot, recovering 90% of the simulation gap to a ground-truth oracle and 87% of the real-robot gap, and establishing a new state of the art among methods that use no perturbed training data, with no test-time calibration. Project page: https://peacelwh.github.io/WACO/.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI