蒸留/マニピュレーション2026/11/3arXiv:2611.04485

All-For-One：視覚基盤モデルを高速・省メモリな視覚運動ポリシーへ蒸留

All-For-One: Distilling Visual Foundation Models to a Fast, Memory-Efficient Visuomotor Policy

複数の視覚基盤モデルを訓練時のみの特権情報として使い、意味表現を軽量なRGBのみの学生ポリシーに蒸留することで、高速かつ省メモリなロボットマニピュレーションを実現した。

詳しい要約

1. どんなもの？

- 視覚基盤モデル（VFM）の知識をロボットの visuomotor policy に蒸留する手法「All-For-One (AFO)」の提案 - VFM は depth や segmentation などの意味的手がかりを提供するが、closed-loop control への直接展開は計算コスト・時間的一貫性・分布シフトの点で非現実的 - VFM を訓練時のみの privileged information として使い、推論時は RGB のみの軽量 policy で動作する two-stage distillation framework

2. 先行研究と比べてどこがすごい？

- 従来の foundation-model-based なアプローチと比べ、シミュレーションで性能を上回る - VFM-based encoder より 30 倍以上少ないパラメータで実現 - 自身の teacher と比べてシミュレーションベンチマークで 50 倍低い latency を達成 - VFM を推論時に直接使わず訓練時の privileged information に限定することで、計算コスト・時間的不整合・分布シフトの問題を回避

3. 技術・手法の肝は？

- privileged learning paradigm に基づく two-stage distillation - All stage: teacher policy が RGB 観測と複数の VFM 出力を融合し、意味的に豊かな表現を学習 - For-One stage: その知識を in-distribution で軽量な RGB-only student policy に蒸留 - 意味表現学習と推論時の policy 実行を分離する設計が肝

4. どうやって有効だと検証した？

- シミュレーションで 2 つの Adroit タスクと 5 つの MetaWorld タスクで評価 - 実世界の 3 つの manipulation タスクでも評価 - 先行の foundation-model-based 手法を上回る性能を確認 - パラメータ数と latency の削減効果もシミュレーションベンチマークで示す

5. 議論はある？

- VFM の計算コスト・時間的不一致・静的画像と egocentric robot 観測間の分布シフトという課題を、訓練時 privileged information 化で緩和 - 蒸留により軽量・低遅延な RGB-only policy を実現できる可能性を示す - 具体的な限界や失敗ケース、蒸留時の情報損失に関する議論は要旨からは不明

6. 次に読むべき論文は？

- privileged learning の代表的枠組み（teacher-student distillation, Learning by Cheating 等） - VFM を用いたロボット manipulation の foundation-model-based 手法 - Adroit および MetaWorld ベンチマークの関連研究 - visuomotor policy の蒸留・軽量化に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Byungkun Lee, Minho Park, Hojoon Lee, Dongyoon Hwang, Donghu Kim, Hyunseung Kim, Kyungmin Lee, Yunho Kim, Jaegul Choo

分類: cs.RO

原文アブストラクト

Visual Foundation Models (VFMs) provide semantic cues such as depth and segmentation useful for robotic manipulation, but directly deploying them in closed-loop control is impractical due to high computational cost, temporal inconsistency, and distribution shift between static internet images and egocentric robot observations. We propose All-For-One (AFO), a two-stage distillation framework that leverages VFMs strictly as privileged information during training, using downstream robotic data. Following the privileged learning paradigm, AFO decouples semantic representation learning from inference-time policy execution. In the All stage, a teacher policy fuses RGB observations with outputs from multiple VFMs to learn a semantically enriched representation. In the For-One stage, this knowledge is distilled in-distribution into a lightweight RGB-only student policy. Evaluated on two Adroit tasks and five MetaWorld tasks in simulation, as well as three real-world manipulation tasks, AFO outperforms prior foundation-model-based approaches while using over 30x fewer parameters than VFM-based encoders and 50x lower latency than its own teacher in simulation benchmarks, providing an efficient pathway for transferring foundation-model knowledge to robotic control.

arXivで原文を読む →arXiv概要ページ

← 論文一覧