日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2611.01112

Auriga:ゼロショット実体マニピュレーションのためのタスク非依存エージェントハーネス

Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMがロボット方策として直接動く際の計画-実行ギャップを埋めるため、3D計測や軌道プレビュー、実行中の逸脱検出を備えたタスク非依存のエージェントハーネスを提案し、RoboDojoで首位を達成した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)をロボットマニピュレーションの政策として直接使うのではなく、タスク非依存のエージェントハーネスとして組み込む枠組み。 - モデルは明示的な task belief 上で意思決定し、直接 tool call か合成した多段 Python プログラムで行動する。 - ハーネスが calibrated 3D measurements、finger-referenced dual-arm control、ロボットへの単一 admission gateway を提供。 - 対象タスク試行や reset なしの zero-shot manipulation を目指す。

2. 先行研究と比べてどこがすごい?

- RoboDojo では計画と実行のギャップが大きく、arm execution を外すと GPT-6 Astra の成功率が 22.5% から 76.2% に上昇。 - Auriga はこのギャップの 68.3% を zero-shot で埋める。 - 同一モデルで reference harness の 2 倍超となる 57.7% 成功率(64.0 Score)で RoboDojo leaderboard 1 位。 - scene randomization 下でも 1 位を維持し、学習済み政策は最大 33.9% 低下。 - RoboCasa365 でも 73.2% 成功率で、VLA-assisted agents を composite tasks で最大 23.1% 上回る。

3. 技術・手法の肝は?

- モデルは全タスク判断を明示的な task belief 上で行い、tool call または合成 multi-step Python programs で実行。 - ハーネスが calibrated 3D measurements と finger-referenced dual-arm control を供給。 - ロボットへの単一 admission gateway で実行経路を統制。 - 動作前に simulation を一時停止し visual trajectory preview をモデルが検査。 - 実行中は宣言された stage tolerances と grasp bounds を検査し、逸脱時に停止して測定された discrepancy を返し in-place recovery を可能にする。

4. どうやって有効だと検証した?

- RoboDojo の leaderboard で評価し、57.7% 成功率(64.0 Score)で 1 位。 - 同一モデルで reference harness と比較し 2 倍超の改善を確認。 - scene randomization 条件下でも 1 位を維持し、学習済み政策の最大 33.9% 低下と対比。 - RoboCasa365 で 73.2% 成功率を達成し、VLA-assisted agents と比較。 - 13 回の cross-task capability iterations で開発し、評価前に freeze。

5. 議論はある?

- 計画-実行ギャップの定量化と、ハーネスによる緩和の有効性を示す。 - zero-shot での汎用性と scene randomization への頑健性を主張。 - ただし要旨からは、失敗事例の詳細、計算コスト、実機での検証範囲、ハーネス設計の一般化可能性についての議論は不明。 - 学習済み政策との比較は scene randomization 下の低下に限定され、他の条件での比較は要旨からは不明。

6. 次に読むべき論文は?

- RoboDojo および RoboCasa365 のベンチマーク論文。 - 比較対象の reference harness と VLA-assisted agents に関する研究。 - GPT-6 Astra など VLM をロボット政策に用いる研究。 - 計画-実行ギャップや task belief に基づくエージェント設計に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengcheng Wang, Yuheng Shi, Siyu Xu, Yutong Wang, Jinjing Zhao, Chenghao Xia, Jinqi Liao, Jiankun Peng, Ligong Bi, Yuechuan Ma, Jiaqi Liu, Wenbo Wang, Zijian Wang, Yuemin Wu, Minjing Dong, Xiu Su, Tao Huang, Jianyuan Guo, Chengbin Du, Yunke Wang, Chang Xu

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language models can interpret instructions and plan manipulation tasks, yet struggle when acting directly as robot policies. On RoboDojo, a large planning-execution gap separates high-level task decisions from physical execution: removing arm execution raises GPT-6 Astra's success rate from 22.5% under the reference control interface to 76.2%. We present Auriga, a task-agnostic agent harness that closes 68.3% of this gap in zero-shot manipulation without target-task trials or resets. In Auriga, the model makes all task decisions over an explicit task belief and acts through either direct tool calls or synthesized multi-step Python programs, while the harness supplies calibrated 3D measurements, finger-referenced dual-arm control, and a single admission gateway to the robot. Before motion, the model inspects a visual trajectory preview while simulation is paused; during execution, the harness checks declared stage tolerances and grasp bounds, stopping the robot on divergence and returning the measured discrepancy for in-place recovery. Developed across 13 cross-task capability iterations and frozen for evaluation, Auriga ranks first on the RoboDojo leaderboard with a 57.7% success rate (64.0 Score), more than doubling the reference harness on the same model, and remains first under scene randomization while learned policies drop by up to 33.9%. On RoboCasa365, the same frozen harness reaches a 73.2% success rate, outperforming VLA-assisted agents by up to 23.1% on composite tasks. Project page: https://auriga.stelledge.com/ Code: https://github.com/lose4578/Auriga

関連論文

PR本紙発行元 EmplifAI