VLX-Go: 多段階学習とオンポリシー改善による堅牢な身体性追跡

- 本論文は、ロボットが視覚観測から指定された追跡対象を識別し、環境内で追従するembodied visual trackingの手法を提案する。 - 特に、distractor（妨害者）が存在する状況での追跡に焦点を当て、視覚と言語の表現を追跡特有の運動学習前に整合させる仮説に基づく。 - 提案手法VLX-Goは、vision-language waypoint policyであり、複数の凍結視覚エンコーダ、マルチスケール時間文脈、transformer backbone、軽量ヘッドを組み合わせ、ロボット中心のwaypoint予測を行う。 - 訓練はvision-language alignment、multimodal reasoning mid-training、追跡特化の多段階で進行し、19,532のoracleエピソードを使用する。

- 先行研究として、著者らの以前のOmTrackVLAモデルが挙げられ、単一ターゲット追跡からdistractor追跡への成功低下が大きい問題があった。 - 提案手法の完全な多段階レシピは、distractor追跡成功率を41.54%から55.80%に向上させ、さらにon-policy refinementで58.22%に達する。 - また、衝突率を1.99ポイント削減し、比較手法の中でdistractorおよびambiguous追跡の最高成功率を記録した。 - これにより、段階的なマルチモーダル学習がdistractor追跡に有望であることを示した。

- 視覚と言語の表現を追跡運動学習前に整合させるという仮説に基づき、複数の凍結視覚エンコーダを組み合わせる。 - マルチスケール時間文脈とtransformer backboneを用い、軽量ヘッドでロボット中心のwaypointを予測する。 - 訓練は3段階：vision-language alignment、multimodal reasoning mid-training、追跡特化（19,532 oracleエピソード）。 - さらに、ポリシーが訪れた状態に対してフィルタリングされたoracleラベルを用いるon-policy refinementを予備的に検討。

- 提案手法をdistractor追跡タスクで評価し、OmTrackVLAの41.54%から55.80%への成功率向上を確認。 - on-policy refinementにより、distractor追跡成功率が2.42ポイント増加して58.22%となり、衝突率が1.99ポイント減少。 - 比較手法の中でdistractorおよびambiguous追跡の最高成功率を記録した。 - これらの結果から、段階的マルチモーダル学習とon-policy refinementの有効性を検証。

- 結果は、distractor追跡における段階的マルチモーダル学習の有望性を支持し、共有空間でのperson followingのためのon-policy refinementのさらなる研究を動機付ける。 - ただし、on-policy refinementは予備的研究であり、その限界や一般化可能性については要旨からは不明。 - また、ambiguous追跡の定義や評価指標の詳細は要旨からは不明。

- 要旨で参照されているOmTrackVLA（著者らの以前のモデル）が直接の比較対象。 - 関連手法として、embodied visual trackingやperson followingの分野で一般的なvision-languageモデル（例：CLIP、ViT、Transformerベースのポリシー）が挙げられるが、具体的な論文名は要旨に記載なし。 - 同分野の定番として、embodied visual trackingやvision-language navigationの研究を次に読むべき。