FoveaVLA: 手首カメラを注視行動で置き換えるVLA

FoveaVLAは、Vision-Language-Action (VLA) モデルにおいて wrist camera を学習された foveation actions で置き換える手法。外部カメラの低解像度問題を、次回の policy query で観察すべき interaction region を予測し、その領域を original-resolution 画像から crop して full view と共に policy に与えることで解決する。π_{0.5} を基に Single と Dual の2構成を構築し、DROID と RoboInter で post-train する。

wrist camera は end-effector 周辺の近接詳細を得るが視野が限定され、外部カメラは全体を見るが低解像度で細部が失われる。FoveaVLA は foveation actions により、外部カメラのみで manipulation に必要な細部を回復し、wrist camera を不要にする点が新しい。実世界4タスクで wrist-equipped π_{0.5} の 52.1% に対し、Single 70.8%、Dual 77.1% の成功率を達成。

各 action chunk と共に、次の policy query で観察すべき interaction region を予測する。その領域を original-resolution 画像から crop した foveal view と full view を policy に入力する。π_{0.5} を基に Single と Dual の2構成を用意し、1台または2台の外部 stereo camera で full/foveal の RGB と depth を取得。DROID と RoboInter interaction annotations で post-train する。

4つの実世界タスクスイートで評価。FoveaVLA-Single は外部 RGB-D 1視点で 70.8%、FoveaVLA-Dual は 77.1% の成功率。比較対象の wrist-equipped π_{0.5} は 52.1%。単純な pick-and-place では baseline と同等で、distractors、cloth manipulation、far-away objects で成功率が向上した。

wrist camera を foveation actions で置き換える有効性を示す一方、foveation region 予測の誤りや、外部カメラのみでの限界、計算コスト、一般化性などは要旨からは不明。Single と Dual の差や、depth 入力の寄与、RoboInter アノテーションの影響についても要旨からは不明。

π_{0.5}、DROID、RoboInter が参照・比較されている。関連手法として wrist camera を用いる VLA、foveation や attention-based cropping を用いる視覚モデル、Vision-Language-Action モデル全般が次に読むべき候補。