日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.18392

DistAL: 距離ベースアドバンテージ学習によるVLAファインチューニング

DistAL: Distance-based Advantage Learning for VLA Fine-Tuning

シェア:XThreadsFacebookLINEはてブBluesky

VLAのアドバンテージ条件付けにおいて、埋め込み空間の距離を報酬として用いることで、より情報量の多い価値関数を学習しタスク成功率を向上させる手法を提案。シミュレーションと実機の両手巧緻マニピュレーションで検証した。

詳しい要約

1. どんなもの？

- Vision-language-action models (VLAs) の微調整手法である DistAL を提案。 - 従来の advantage conditioning では success/failure の二値報酬のみを使用していたが、DistAL では embedding space distance を報酬として用いる。 - これにより、より情報量の多い value function を学習し、下流タスクの成功率を向上させる。 - シミュレーションベンチマークと実機での双腕マニピュレーションタスクで検証。

2. 先行研究と比べてどこがすごい？

- 従来の advantage conditioning は単純な success/failure 報酬のみで value function を訓練していた。 - そのため、タスクの進行度以外の状態の質の違いを区別できなかった。 - DistAL は embedding space distance を報酬に用いることで、より情報量の多い value function を実現。 - 結果として、下流タスクの成功率が向上することを示した。

3. 技術・手法の肝は？

- out-of-distribution (OOD) detection 手法の探索に着想を得て、embedding space distance を報酬として利用。 - この距離ベースの報酬で value function を訓練し、advantage-conditioned policy を学習。 - 具体的な距離の定義や埋め込み空間の構築方法は要旨からは不明。

4. どうやって有効だと検証した？

- 一連のシミュレーションベンチマークで評価。 - 実機での dexterous bi-manual manipulation タスクでも検証。 - 成功率の向上を確認したと要旨に記載。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Advantage conditioning に関する先行研究（具体的な論文名は要旨に記載なし）。 - out-of-distribution (OOD) detection の関連手法。 - Vision-language-action models (VLAs) の代表的手法（例: RT-2, Octo など）。 - flow-matching policies に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Reece O'Mahoney, Ioannis Havoutis

分類: cs.RO

原文アブストラクト

Vision-language-action models (VLAs) have trans- formed the field of robotic manipulation in recent years by combining the semantic understanding of LLMs with the precise control of flow-matching policies. Advantage conditioning is a recent technique that iteratively improves VLAs by training a value function on deployment data and using this to train an advantage-conditioned policy. Previous works have only applied simple, low-information success/failure rewards, which leave the value function unable to distinguish states of differing quality beyond how far along the task they appear. Motivated by an exploration of out-of-distribution (OOD) detection methods, we introduce Distance-based Advantage Learning (DistAL), which, by using an embedding space distance as a reward, produces a more informative value function and subsequently a higher downstream task success rate. We validate our method on a series of simulation benchmarks and dexterous bi-manual manipulation tasks on real hardware.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI