何が起きたか

arXiv掲載論文は2026年11月18日、公開済みのGR00T N1.7を用い、ランドマーク語だけが異なる2つのLIBERO-Spatialタスクを調べた。訓練指示にない同義語でも指定されたボウルを選ぶ挙動が見られたが、1タスクの閉ループ完了率は同義語で67.6%、元の語では100%だった。論文は、対象選択とタスク完了を分け、行動を実行する閉ループで言い換えへの頑健性を評価すべきだとしている。

詳細

モデル内部への介入では、視覚言語モデルと行動生成器をつなぐコネクターの前でランドマーク語のベクトルだけを別のランドマークのものに置き換えると、ほぼ全エピソードで選択先がもう一方のボウルに移った。一方、コネクターの後では、ランドマーク、残りの指示文、画像トークンのいずれか1種類だけを置き換えても選択先はほとんど変わらず、任意の2種類を組み合わせると変化した。 ランドマーク語を行動生成器に渡さない操作でも、同義語で完了率が下がるケースは残った。多様なランドマーク語を用いたファインチューニングは、ファインチューニングに含まれない同義語に対する当該タスクの完了を改善したが、元の指示文だけでの追加学習では改善しなかった。コネクターのみを多様な語で学習する方法でも改善し、同じ語で全体をファインチューニングしたモデルのコネクターを、元の指示文で学習したモデルに移す方法でも改善した。開始時のフレームだけを使うオープンループ評価では、コネクター以外の重みも修復に関わる点を捉えられなかった。

Key Facts

調査対象は公開済みのGR00T N1.7で、ランドマーク語だけが異なる2つのLIBERO-Spatialタスクを用いた。[1]
訓練指示にない同義語を使った場合、1タスクの閉ループ完了率は67.6%で、元の語では100%だった。[1]
コネクター前でランドマーク語のベクトルを別のランドマークのものに置き換えると、ほぼ全エピソードで選択先が変わった。[1]
多様なランドマーク語を使ったファインチューニングは、学習に含まれない同義語に対する当該タスクの完了を改善した。[1]
開始時のフレームによるオープンループ評価では、コネクター以外の重みも修復に関わる点を捉えられなかった。[1]

本紙の見方

この研究の焦点は、指示の意味を読み取れたかという一つの判定を、対象選択と行動後のタスク完了に分けた点にある。未学習の同義語がボウルの選択には反映されても、完了率は元の語を使った場合に届かない。したがって成功率だけでは、言い換えによる失敗が対象を取り違えた結果なのか、選択後の実行過程で生じたのかを識別できない、という問題設定である。 介入実験は、言語表現が行動に伝わる場所を一か所に決めつけられないことを示す。コネクター前でランドマーク表現を置き換えると選択先がほぼ切り替わった一方、コネクター後では単一のトークン群への介入だけでは選択がほとんど動かず、二つを組み合わせると変化した。さらにランドマークを行動生成器から隠しても同義語での完了低下が残る。コネクターだけの学習でも改善した結果と合わせると、コネクターは修正の有効な対象だが、モデル全体の挙動をそこだけで説明できるわけではないと読める。 学習方法の比較も示唆的だ。多様なランドマーク語を含めると、学習に入っていない同義語での当該タスクの完了が改善する一方、元の指示文だけでのファインチューニングでは改善しなかった。つまり、この実験条件では追加学習の有無だけでなく、語の多様性と学習する構成要素が結果を左右した。コネクターの移植でも改善したが、これは対象タスクでの結果であり、別のタスクや別のVLAにも同じ方法が通用するとは示されていない。 評価設計では、開始画像を使うオープンループのスコアと、行動を実行する閉ループの完了率を同一視できない。論文が、閉ループで選択と完了を別々に採点し、コネクターの前後双方に介入するよう提案するのは、今回、開始時フレームだけの評価では修復に関わるコネクター外の重みを捉え損ねたためだ。未確定なのは、この差が他のランドマーク語やタスク、モデルでも再現するか、また改善が選択後の動作のどの段階に及ぶかである。結果はGR00T N1.7と2タスクに基づくため、VLA全般の頑健性を示すものではなく、評価範囲を広げて確かめる必要がある。

なぜ重要か

GR00T N1.7では、訓練にない同義語でも対象選択ができた一方、1タスクの完了率は元の語を使った場合より低かった。言い換えに対する性能を評価する際、選択の正しさだけでなく行動を実行した後の完了率も測り、両者を分けて把握する必要があることを示す結果だ。