arXiv論文「Grounded Action Model」発表　3D groundingでロボット操作を構成

何が起きたか

arXivは2026年9月20日、論文「Grounded Action Model: 3D Grounding as a Foundation for Robotics」を公開した。論文は、ロボットの操作方策に必要な対象認識と位置把握を3D groundingで与える新しいロボット基盤モデル「GAM」を提案している。評価ではRoboTwin 2.0の50タスクで平均成功率55.3%、LIBERO-PROの16の摂動条件で平均61%を示した。

詳細

GAMは、言語、点、ボックスの各プロンプトを受け取り、まず選択対象を共通の対象中心表現に変換する。この表現は、対象に焦点を当てた視覚特徴とメートル法の物体幾何を含み、ロボット状態履歴とマルチストリームTransformerで統合されて行動チャンクを予測する。 論文は、GAMが自律実行できるだけでなく、高レベルのプランナーが各種入力モダリティを使って制御する低レベルコントローラとしても機能するとしている。RoboTwin 2.0では、50タスク平均55.3%で、Spatial Forcingの52.0%を上回ったほか、シーンのランダム化下では47.6%で、Abot-M0の30.4%を上回った。LIBERO-PROでは16の摂動設定で61%を記録し、比較対象のπ_{0.5}は53%だった。

Key Facts

本紙の見方

今回の論文の新規性は、ロボット操作に必要な「何を」「どこで」扱うかを、3D groundingを前提に基盤モデルへ組み込んだ点にある。言語モデル系VLAや動画生成系WAMが、基礎表現として直接はメートル法の対象位置を要請しないのに対し、GAMは最初から対象中心表現を作り、そこにロボット状態履歴を重ねて行動チャンクを出す構造だ。つまり、表現学習の延長ではなく、認識・位置・状態履歴を一体化した制御単位を設計した点が本質である。 本紙の関連記事はないため、過去報道との連続性は直接たどれない。ただし論文本文からは、GAMが単独方策としてだけでなく、高レベルプランナーに制御される低レベルコントローラとしても使えることが読み取れる。ここは、ロボット基盤モデルが「1つで全部をこなす」方向ではなく、上位計画と下位制御の分業に寄る可能性を示す。特に、言語・点・ボックスの3種入力を同一表現に落とす点は、実運用での指示形式の違いを吸収しやすい一方、どの入力がどの局面で効くのかはまだ検証余地がある。 業界構造への含意としては、モデル性能の競争軸が、単なる生成能力や模倣学習の規模から、3Dで対象を固定できるかどうかに移っていることが重要である。RoboTwin 2.0では50タスク平均55.3%、LIBERO-PROでは16摂動設定で61%と、特に対象が移動・再指定された条件で差が出ている。これは、実機での操作では視覚のずれや対象変更に耐える表現がボトルネックになりやすいことを示す。ただし、論文の実機評価は2台に限られ、長期運用での稼働率、学習データの構成、失敗時の回復、BOMや制御レイヤーとの接続まではまだ見えない。 次に確認すべき論点は、GAMがどの程度のデータ量で成立するのか、3D groundingの前処理が実運用でどれだけ重いのか、そして高レベルプランナーとの組み合わせが他のロボット機種にも一般化するかである。数値上は実機での視覚変化耐性が示されたが、産業用途に必要な連続稼働や安全性の評価は、現時点の論文からは判断できない。

なぜ重要か

この論文は、ロボット操作で必要な対象認識と位置把握を、言語だけでなく点やボックスでも指定できる形で統一している点に意味がある。対象が新たに指定されたり位置が変わったりする条件で成績差が出ているため、実環境での取り回しを意識した設計だとみられる。

日本への影響

日本企業・研究機関にとっては、ロボットの制御系を視覚・3D表現とどう結びつけるかが論点になる。とくに、実機評価で視覚シフトや対象再指定に耐える性能が示されているため、工場内のばらつきや段取り替えが多い用途では、3D groundingを前提にした制御設計の必要性が相対的に高まる可能性がある。