日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.29389

Robo-Harness K1: 知覚拡張によるロボット操作エージェントの活用

Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

VLMに深度や空間計測などの知覚ツールを提供し、追加学習なしでロボット操作を実現するエージェントフレームワークを提案。少ない実演データでも高い汎化性能を示す。

詳しい要約

1. どんなもの？

- 基盤 VLM をそのまま使い、ロボット操作を実現する robot-use agent (RUA) フレームワーク Robo-Harness K1 を提案 - 知覚をツールとして公開し、agent が calibrated depth、persistent visual anchors、spatial measurements、grasp hypotheses を問い合わせる - 返ってきた evidence から generic motions を選択する構成 - VLM アーキテクチャ変更や depth encoder 学習を不要とする - LIBERO-PRO、RoboSuite、RoboTwin で評価

2. 先行研究と比べてどこがすごい？

- VLA モデルは大量の demonstrations を要し、pretrained understanding を損なう可能性がある - RGB-only の VLM 直接制御は高コストでモデル能力に強く依存する - K1 は知覚をツール化することで、VLM を再学習せず 3D geometry を利用可能にする - 同一 LIBERO-PRO で Gemini 3.7 Flash + K1 は 77.8%、RGB-only harness の GPT-6 Astra 61.1% を上回る - K1 は Astra を 88.9% まで改善 - ターゲット微調整なしで RoboSuite 3 アームと dual-arm RoboTwin に転移

3. 技術・手法の肝は？

- perception as tools というインターフェースを採用 - agent が calibrated depth、persistent visual anchors、spatial measurements、grasp hypotheses をクエリ - 返された evidence に基づき generic motions を選択 - VLM アーキテクチャ変更や depth encoder 学習は不要 - tool-call traces が next-token training と整合 - Qwen3.5-9B student を 107 teacher episodes で訓練可能

4. どうやって有効だと検証した？

- 同一 LIBERO-PRO タスクで Gemini 3.7 Flash + K1 が 77.8%、GPT-6 Astra + RGB-only harness が 61.1% - K1 により Astra が 88.9% に向上 - ターゲット微調整なしで RoboSuite 3 アームと dual-arm RoboTwin に転移 - RoboTwin で Easy 32.0%、Hard 28.0% を達成し、視覚・環境摂動への頑健性を示す - Qwen3.5-9B student は新初期状態で 44.2%、OpenVLA は 30.2% - held-out タスク条件で student 13.9%、OpenVLA 0.0%

5. 議論はある？

- 知覚拡張 RUA が sample-efficient で generalizable なロボット政策への有望な道筋を示唆 - VLM 能力を accessible tool interface 経由で活用 - ただし RoboTwin の絶対性能は Easy 32.0%、Hard 28.0% と限定的 - 要旨からは失敗要因や限界の詳細は不明 - 実世界ロボットでの検証や安全性・汎化性の議論は要旨からは不明

6. 次に読むべき論文は？

- VLA モデル（例: OpenVLA） - LIBERO-PRO - RoboSuite - RoboTwin - Gemini 3.7 Flash、GPT-6 Astra、Qwen3.5-9B などの基盤 VLM - RGB-only harness との比較研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zexi Li, Yehang Zhang, Wenqian Li, Haojian Huang, Chenxu Wang, Shiyuan Deng, Yangkai Wei, Tianyi Zhang, Binghui Xie, Bohan Zhou, Yifan Chang, Kaiwen Zhou, Ying-Cong Chen, James Cheng, Yinchuan Li

分類: cs.RO

原文アブストラクト

Foundation vision-language models (VLMs) understand objects, instructions, and spatial relations, yet translating this capability into robotic manipulation remains difficult. Vision-language-action (VLA) models require extensive demonstrations and may compromise pretrained understanding, while direct RGB-only VLM control is costly and strongly dependent on model capability. We introduce Robo-Harness K1, a robot-use agent (RUA) framework that exposes perception as tools. The agent queries calibrated depth, persistent visual anchors, spatial measurements, and grasp hypotheses, then selects generic motions from the returned evidence. This interface makes 3D geometry accessible without changing the VLM architecture or training a depth encoder. On matched LIBERO-PRO tasks, Gemini 3.7 Flash with K1 reaches 77.8% accuracy, surpassing GPT-6 Astra's 61.1% with an RGB-only harness; K1 further improves Astra to 88.9%. Without target fine-tuning, Gemini with K1 transfers to three RoboSuite arms and dual-arm RoboTwin tasks. On RoboTwin, it achieves 32.0% on Easy and 28.0% on Hard, showing resilience to visual and environmental perturbations. K1 also produces tool-call traces aligned with next-token training. A Qwen3.5-9B student trained on only 107 teacher episodes reaches 44.2% accuracy on new initial states versus 30.2% for OpenVLA, and 13.9% on held-out task conditions versus 0.0% for OpenVLA. These results suggest that perception-augmented RUAs offer a promising route to sample-efficient, generalizable robotic policies that leverage VLM capabilities through an accessible tool interface.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI