何が起きたか
arXiv掲載論文「Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction」は、ロボットの把持位置と軌道を、言語トークンではなく連続値で予測する手法を提案した。凍結したVLMの中間層の特徴を軽量な予測ヘッドで読み取り、指示に応じた把持可能領域と軌道のウェイポイントを出力する。論文によると、2Bパラメーターのモデルは軌道誤差を60%超削減し、ShareRobot-Benchの把持可能領域予測でmAPを自己回帰型ベースライン比85%改善した。
詳細
提案ヘッドは、タスク指示に条件付けた学習済みクエリを、視覚トークンへのクロスアテンションで更新し、把持可能領域のボックスと軌道のウェイポイントを連続値として回帰する。VLM本体の変更は不要だと論文は説明している。評価にはShareRobot-BenchとAGD20Kを用いた。 論文は、軌道予測では自己回帰デコードが主要なボトルネックとなり、把持可能領域予測では特徴の深さとデコーダー構造も影響すると報告した。2Bモデルの軌道予測はRoboBrainに近い値（DFD 0.251対0.191）で、スループットは3.8倍だった。
Key Facts
| 論文は、凍結したVLMの中間層特徴を使う軽量な予測ヘッドを提案し、連続値で把持可能領域と軌道を予測する。 | [1] |
| 評価にはShareRobot-BenchとAGD20Kを用いた。 | [1] |
| 2Bモデルは軌道誤差を60%超削減し、ShareRobot-Benchの把持可能領域mAPを自己回帰型ベースライン比85%改善した。 | [1] |
| 軌道予測のDFDはRoboBrainが0.191、提案モデルが0.251で、提案モデルのスループットは3.8倍だった。 | [1] |
| 論文は、0.5–2Bパラメーターの既製VLMが中間特徴に空間情報を保持していると報告した。 | [1] |
本紙の見方
この研究の焦点は、ロボット向け視覚言語モデル（VLM）の規模を大きくすることではなく、既存モデルが内部に持つ空間情報を、座標列の言語生成を経ずに取り出す点にある。論文は、0.5–2Bパラメーターの既製VLMの中間特徴に空間情報があるとし、凍結したバックボーンに予測ヘッドを接続する構成を示した。したがって新規性は、VLMそのものの再学習ではなく、空間出力に適した読み出し方法と、タスクごとに異なる予測上のボトルネックを分けて扱ったことにある。 論文の結果は、座標をトークン列として逐次生成する設計が軌道予測の速度と誤差に影響し得ることを示す一方、把持可能領域の予測では特徴層の深さやデコーダー構造も関係するとしている。これは、ロボットの幾何出力を単一の「言語モデル性能」に還元せず、出力形式と予測対象に合わせてモデルの接続部を設計する余地を示す。2BモデルがRoboBrainに対し、DFDでは0.251対0.191と差が残る一方でスループットが3.8倍だったという比較も、精度だけでなく処理速度を含めて選択する必要性を具体化している。ただし、これらは論文が挙げたベンチマーク上の結果であり、実機の把持成功率や動作中の安全性を示す値とは区別すべきだ。 実装面では、バックボーンを凍結したまま軽量ヘッドを追加する方式は、既存VLMの空間特徴を利用する設計として位置づけられる。把持位置のボックスと軌道のウェイポイントを連続値で出すため、座標をテキスト化して段階的に復号する方式とは出力経路が異なる。ただし、論文の要約に示された情報だけでは、評価時のハードウェア、実時間での遅延、実ロボットでの検証条件、異なるカメラ視点や指示への汎化は判断できない。今後は、ベンチマーク上の誤差・スループットが実機の動作品質にどう対応するか、また予測ヘッドの追加がモデルごとにどの程度の調整を要するかが確認点となる。
なぜ重要か
論文の提案は、VLM本体を変更せず、中間特徴から把持位置と軌道を連続値で出力する構成である。自己回帰型ベースラインとの比較で、2Bモデルの軌道誤差とShareRobot-BenchのmAPを改善したと報告しており、幾何予測で座標をトークン化する方式を見直す根拠となる。ただし、報告された数値はベンチマーク評価であり、実機での成功率や安全性を直接示すものではない。