マニピュレーション2026/9/3arXiv:2609.04193v1

GIFT: 行動指向の構造的監督による誘導中間特徴学習を用いたロボット操作

GIFT: Guided Intermediate Feature Training via Action-Oriented Structural Supervision for Robotic Manipulation

視覚と言語の事前学習で得られる特徴と制御に必要な情報の乖離（行動十分性ギャップ）を埋めるため、中間特徴に幾何・アフォーダンス・目標領域の3つの制御関連構造を学習させるフレームワークGIFTを提案し、複数のポリシーで性能向上を確認した。

詳しい要約

1. どんなもの？

GIFT (Guided Intermediate Feature Training) は、ロボット操作のためのポリシー学習において、中間特徴量を制御に関連する構造（幾何学、アフォーダンス、目標領域）に合わせて訓練するフレームワーク。Vision-Language-Action (VLA) ポリシーやWorld-Action Model (WAM) など、異なる行動定式化を持つモデルに適用可能で、ゼロショット転送性能を向上させる。

2. 先行研究と比べてどこがすごい？

既存のVision-language pre-trainingやpredictive world modelingは、豊かな意味的・動的特徴を提供するが、行動や視覚予測の目的が物理的・タスク構造を欠き、制御に無関係な視覚冗長性を保持するという「action-sufficiency gap」がある。GIFTは、中間特徴量を直接制御関連構造に導くことで、このギャップを埋める点が新しい。

3. 技術・手法の肝は？

GIFTは、中間特徴量を訓練時に制約する3つの構造を導入：1) 運動の実現可能性を支配する幾何学を整列させるgeometry alignment、2) 指示関連エンティティを符号化するaffordance prediction、3) 指示をタスク関連領域に接地するgoal-region reconstruction。これらをモデルの行動定式化を保持したまま追加する。

4. どうやって有効だと検証した？

LIBERO-PlusとRoboCasaデータセットでゼロショット転送を評価。GIFT-VLA、GIFT-WAM-Fast、GIFT-WAM-IDMは、それぞれStarVLA-OFT、Fast-WAM、Fast-WAM-IDMをLIBERO-Plusで4.6、12.6、5.2ポイント上回り、79.6%、72.6%、87.8%を達成。RoboCasaでは61.4%、83.6%、82.3%で、それぞれ12.6、9.0、8.4ポイント上回った。

5. 議論はある？

要旨からは、GIFTが特にarticulated-objectタスクや、未知の視覚的・空間的摂動下での高精度実世界操作で大きな改善を示したと述べられているが、具体的な議論や限界については不明。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、StarVLA-OFT、Fast-WAM、Fast-WAM-IDMが挙げられる。また、Vision-language pre-trainingやpredictive world modelingの基盤研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yupeng Zheng, Xiang Li, Songen Gu, Yuhang Zheng, Shuai Tian, Weize Li, Linbo Wang, Chaoyue Li, Qichao Zhang, Haoran Li, Zhongpu Xia, Ya-Qin Zhang, Shuicheng Yan, Dongbin Zhao

分類: cs.RO

原文アブストラクト

Vision-language pre-training and predictive world modeling provide robot policies with rich semantic and dynamic visual features, but their native action and visual-prediction objectives may omit critical physical and task structure while retaining control-irrelevant visual redundancy. We call this mismatch between visual richness and control utility the action-sufficiency gap. We investigate whether this gap can be bridged by guiding intermediate features to preserve three control-relevant structure in robotic manipulation: geometry governing motion feasibility, affordance encoding instruction-relevant entities, and goals grounding instructions in task-relevant regions. To this end, we present GIFT (Guided Intermediate Feature Training), an architecture-flexible framework for learning intermediate features that translates these structures into training-time constraints through geometry alignment, affordance prediction, and goal-region reconstruction. We instantiate GIFT in a Vision-Language-Action (VLA) policy, a direct-action World-Action Model (WAM), and an inverse-dynamics WAM while retaining each model's action formulation. Under zero-shot transfer to LIBERO-Plus, GIFT-VLA, GIFT-WAM-Fast, and GIFT-WAM-IDM outperform StarVLA-OFT, Fast-WAM, and Fast-WAM-IDM by 4.6, 12.6, and 5.2 points, reaching 79.6%, 72.6%, and 87.8%, respectively. On RoboCasa, the three GIFT variants reach 61.4%, 83.6%, and 82.3%, outperforming their counterparts by 12.6, 9.0, and 8.4 points, respectively. Together, these results establish learning functionally structured intermediate features as a reusable principle across model-specific action formulations, with especially large gains on articulated-object tasks and high-precision real-world manipulation under unseen visual and spatial perturbations. Project page: https://openphoenix-team.github.io/GIFT-pages.

arXivで原文を読む →arXiv概要ページ