日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
組立/ベンチマークarXiv:2610.27618

視覚マニュアルから自律組立へ:JARVISベンチマーク

JARVIS: From Visual Manuals to Autonomous Robotic Assembly

シェア:XThreadsFacebookLINEはてブBluesky

LEGO組立の図解マニュアルを読み取りロボットが自律実行する能力を評価する大規模ベンチマークJARVISと、ツール接地型エージェントを提案した論文。

詳しい要約

1. どんなもの?

- 視覚マニュアルからロボットが自律組立するためのベンチマークと手法 - JARVIS: 追加の言語指示なしで視覚マニュアル誘導実行を評価する method-agnostic ベンチマーク - 236,679 の LEGO assembly タスク、8,987 シーンで構成 - 対話型ロボット評価用に厳選した JARVIS-v1(50 タスク)を用意 - タスクは初期構造の複雑さと assembly horizon が多様で、マニュアル解釈・作業空間での行動接地・手順実行を要求 - 構造認識型評価プロトコルで幾何精度、構造関係、構築順序、部分進捗、完成度を測定 - JARVIS-agentic: robot primitives を実行可能プログラムに合成し、実行フィードバックで検証・回復する tool-grounded embodied agent

2. 先行研究と比べてどこがすごい?

- 従来のロボット組立研究は言語指示やタスク固有の action trajectory を前提とするものが多く、視覚マニュアルのみでの長期的実行を扱う統一ベンチマークが乏しかった - JARVIS は追加の言語指示を排し、視覚マニュアル単独での手順理解と物理実行を評価する点が新しい - 大規模かつ多様なシーン(8,987 シーン、236,679 タスク)と対話型評価用の厳選スイートを両立 - 単純な成功率ではなく、幾何精度・構造関係・構築順序・部分進捗・完成度を含む構造認識型プロトコルで評価 - JARVIS-agentic はタスク固有の action trajectory やモデルパラメータ更新なしで動作する点が特徴 - 9 つの multimodal / reasoning モデルを横断評価し、assembly horizon 増加に伴う性能低下と誤り訂正の困難さを定量的に示した

3. 技術・手法の肝は?

- method-agnostic なベンチマーク設計により、特定手法に依存せず視覚マニュアル誘導実行を評価 - LEGO assembly を題材に、初期構造の複雑度と assembly horizon を変化させたタスク群を構築 - 構造認識型評価プロトコルで幾何精度・構造関係・構築順序・部分進捗・完成度を個別に測定 - JARVIS-agentic は tool-grounded embodied agent として robot primitives を実行可能プログラムへ合成 - 実行フィードバックを用いて検証と回復(verification and recovery)を行い、タスク固有軌道やパラメータ更新に依存しない - エージェントはマニュアル解釈、進化する作業空間での行動接地、意図した手順の実行を統合する必要がある

4. どうやって有効だと検証した?

- JARVIS-v1 の 50 タスクによる対話型ロボット評価を実施 - 9 つの multimodal および reasoning モデルを比較評価 - タスク指向 primitives の導入により平均 assembly score が向上することを確認 - assembly horizon が長くなるほど性能が急激に低下することを観測 - 実行エラーが訂正困難であることを示す結果を報告 - 事前タスク経験が初期性能を改善する一方、繰り返し reflection の効果は一貫しないことを確認 - これらにより視覚手順推論と信頼できる物理実行の接続に残る限界を明示

5. 議論はある?

- assembly horizon の増加に伴う性能低下が顕著で、長期的手順実行の信頼性が課題 - 実行エラーの訂正が難しく、回復機構の改善が必要 - 事前タスク経験は初期性能を改善するが、繰り返し reflection の利益は一貫せず、その有効性には議論の余地 - 視覚的手順推論と物理実行の接続に持続的な限界があると著者らは指摘 - 具体的な失敗モードの内訳や改善方策の詳細は要旨からは不明

6. 次に読むべき論文は?

- JARVIS-agentic の tool-grounded embodied agent 設計(robot primitives のプログラム合成と実行フィードバックによる回復) - 比較対象となった 9 つの multimodal / reasoning モデルのうち、assembly score や horizon 依存性の分析に関連するモデル評価研究 - 長期的手順実行のための reflection や事前タスク経験(prior-task experience)に関する研究 - 視覚マニュアル理解と行動接地を扱う procedural reasoning / embodied instruction following の関連研究 - 構造認識型評価や LEGO assembly を用いたロボット組立ベンチマークの関連研究(個別名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fan Ding, Fucai Ke, Kevin Yuchen Ma, Xuewen Luo, Wenyu Liang, Vishnu Monn Baskaran, Hamid Rezatofighi, Yan Wu

分類: cs.RO

原文アブストラクト

Visual manuals communicate procedural knowledge through stepwise diagrams, but translating these instructions into reliable long-horizon robotic execution remains challenging. We introduce JARVIS, a method-agnostic benchmark for autonomous visual-manual-guided execution without additional language instructions. JARVIS comprises 236,679 LEGO assembly tasks across 8,987 scenes, with a carefully curated JARVIS-v1 suite of 50 tasks for interactive robotic evaluation. Tasks span varying initial structural complexities and assembly horizons, requiring agents to interpret manuals, ground actions in an evolving workspace, and execute the intended procedure. A structure-aware evaluation protocol captures geometric accuracy, structural relations, construction order, partial progress, and completion. We further introduce JARVIS-agentic, a tool-grounded embodied agent that composes robot primitives into executable programs and uses execution feedback for verification and recovery, without task-specific action trajectories or model parameter updates. Across nine multimodal and reasoning models, task-oriented primitives increase the average assembly score. Performance nevertheless declines sharply with assembly horizon, and execution errors remain difficult to correct. Prior-task experience improves initial performance, while repeated reflection provides inconsistent benefits, highlighting persistent limitations in connecting visual procedural reasoning with reliable physical execution.

PR本紙発行元 EmplifAI