NVIDIA Research、視覚的な行動計画を並列生成するVFlashを紹介

何が起きたか

research.nvidia.comは、フィジカルAI向けのデコード枠組み「VFlash」を紹介した。VFlashは、点や軌道などの視覚的な計画を、軽量な生成器でプリミティブ単位に並列生成する。ページによると、3つのロボットデータセットと3つの対象モデルで平均3D変位誤差を自己回帰方式比42.6%低減し、MolmoSpacesの操作評価では平均成功率70.2%を記録した。

詳細

VFlashでは、対象となる視覚言語モデル（VLM）を固定したまま、注釈付き幾何データで軽量な生成器を学習させる。生成器は5層の非因果トランスフォーマーで、可変長のプリミティブを一括して予測する。座標の位置ずれを抑えるため、専用座標トークンまたは固定幅の数値フィールドを用いる。MolmoSpacesでは、H100・バッチサイズ1の単一ロールアウト生成が約25倍高速とされる。COCOとDense200では、ボックス生成数が毎秒2.6〜2.8倍となり、平均F1は自己回帰方式に近かった。 ロボット操作評価では、Cosmos-Predict2.5を制御向けに追加学習したワールドアクションモデルを使用する。同モデルは20ステップの行動チャンクを予測し、3チャンクごとに計画を更新する。MolmoSpacesの平均成功率は、ベースライン62.6%、自己回帰計画61.0%、VFlashの3D計画のみ69.3%、VFlashの2D・3D計画70.2%だった。ページは、同じアクションモデル構成で比較した結果としている。

Key Facts

本紙の見方

この研究の要点は、ロボット向け推論全体を一括で高速化したというより、視覚的な計画を出力する段階を、逐次的な座標トークン生成からプリミティブ単位の並列生成へ置き換えた点にある。座標点や軌道は構造が既知であるため、固定長のトークン窓ではなく、点・ボックス・軌道などのまとまりに合わせて生成単位を切る。出力長はツール呼び出しで指定し、プリミティブの種類が座標配置を定める設計だ。つまり速度向上の仕組みは、計算資源の増強ではなく、出力の構造をデコード方式に取り込むことにある。 結果は用途ごとに分けて読む必要がある。ロボット軌道では3データセット・3対象モデルで平均3D変位誤差を42.6%低減し、MolmoSpacesでは成功率70.2%だった。一方、COCOとDense200のボックス生成では毎秒2.6〜2.8倍という別の指標が示されている。これらは異なるタスクと評価尺度であり、ひとつの数値にまとめて「ロボット全体の性能向上」と解釈することはできない。MolmoSpacesでも、VFlashから軌道情報を除き画像特徴に置き換えた条件は63.7%で、2D・3D計画を用いた70.2%との差がある。ページの比較は、生成した幾何情報が後段の操作に関係する可能性を示すが、個別の操作や環境を超えた一般性能を確定するものではない。 構成上、VFlashは認識から動作までを単独で担う制御器ではない。固定したVLMが計画の特徴を作り、後段のアクションモデルがそれを参照して行動を出す。MolmoSpacesではCosmos-Predict2.5を制御向けに追加学習したモデルが20ステップの行動チャンクを予測し、3チャンクごとに計画を更新する。この分業は、生成器の高速化が実際の操作成功に結び付くかを、後段のモデル構成と合わせて評価すべきことを示す。VFlash単体の速度指標だけでは、システム全体の応答時間や稼働条件は分からない。 次に確認すべきなのは、報告された速度・誤差・成功率が異なる環境や実機条件でも保たれるか、また生成計画の誤りが安全性にどう影響するかだ。紹介ページは評価結果とモデル構成を示す一方、実運用での稼働率、遅延の内訳、学習データの規模、失敗時の安全機構については説明していない。したがって現段階では、並列生成方式の有効性を評価ベンチマーク上で示した研究として捉え、制御系全体への適用範囲は別途検証が必要とみられる。

なぜ重要か

VFlashの評価では、視覚計画を含む条件のMolmoSpaces成功率が70.2%で、画像特徴に置き換えた条件は63.7%だった。研究ページの比較は、ロボット操作モデルに渡す情報として、言語指示だけでなく座標・軌道の幾何情報が重要になり得ることを示している。