日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2611.18298

目的関数をポリシーとして:接触を伴うマニピュレーションのための視覚言語モデルによるコストプログラム

Objectives as Policies: Vision-Language Model Cost Programs for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMが自然言語指示から段階的な目的関数プログラムを生成し、サンプリング型MPCで実行・反復改善することで、接触の多い卓上マニピュレーションを実現するフレームワーク。

詳しい要約

1. どんなもの?

- 接触を伴うロボットマニピュレーションのためのフレームワーク「Objectives as Policies (OaP)」 - pretrained VLM と共有 sampling-based MPC を、編集可能な objective program を介して接続する - 各 program はタスク遂行のための stage 列を指定し、cost library の running/terminal costs と stage completion conditions を組み合わせる - 自然言語指示と scene observation から real-to-sim で simulation-based digital twin を構築し、VLM が objective program を生成、MPC が simulation 上で実行する

2. 先行研究と比べてどこがすごい?

- 従来は VLM と MPC の接続により semantic reasoning と physics-based planning を統合する枠組みが注目されてきた - しかし接触を伴う manipulation では両者を橋渡しし物理的相互作用を VLM が推論できる task representation が必要だった - OaP は objective program という編集可能な表現でこれを実現する点が新しい - 4つの tabletop manipulation タスクで strong baselines を上回ったと報告

3. 技術・手法の肝は?

- pretrained VLM が自然言語指示と scene observation から objective program を生成 - program は stage 列からなり、cost library の running/terminal costs と stage completion conditions を組み合わせる - real-to-sim により simulation-based digital twin を構築し、MPC が simulation 内で program を実行 - VLM は MPC rollouts に基づき program を反復更新し、その後 real world に展開する

4. どうやって有効だと検証した?

- simulation と real world の両方で4つの tabletop manipulation タスクを評価 - strong baselines と比較し、OaP が優位であることを示した - 詳細な評価指標や被験者数などは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、real-to-sim のギャップに関する議論は要旨では言及されていない

6. 次に読むべき論文は?

- VLM と MPC を接続する先行パラダイム(VLM-MPC 連携研究) - sampling-based MPC - real-to-sim / digital twin を用いたロボット学習 - 接触を伴う manipulation のタスク表現に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Lu, Trong Gia Hung Nguyen, Fuquan Wang, Yifan Zhu

分類: cs.RO

原文アブストラクト

Vision-language models (VLMs) have shown strong semantic and spatial reasoning capabilities in 3D environments. Recently, connecting VLMs with model-predictive controllers (MPC) has emerged as a paradigm for combining strong semantic reasoning with physics-based planning. However, connecting these two for contact-rich robotic manipulation requires a task representation that bridges the two and captures how physical interactions can be reasoned by VLMs. In this work, we introduce Objectives as Policies (OaP), a framework that connects a pretrained VLM to a shared sampling-based MPC through an editable objective program. Each program specifies a sequence of stages for completing a task, combining running and terminal costs from a cost library with stage completion conditions. Given a natural-language task instruction and scene observation, we build a simulation-based digital twin through real-to-sim, and the VLM generates an objective program that is executed by the MPC in the simulation. The program is iteratively updated by the VLM based on MPC rollouts, before being deployed in the real world. We evaluate our framework in both simulation and the real world on four tabletop manipulation tasks, and show that it outperforms strong baselines. Additional videos and examples are available on the project website: https://zihaolu001.github.io/oap-project/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI