日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.24076

言い換えへの脆弱性は物体選択に現れ、タスク完了には現れない:VLAはどこでランドマーク同義語に弱いのか

Meaning Reaches Object Choice but Not Completion: Where Is a VLA Vulnerable to Landmark Synonyms?

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーGR00T N1.7をLIBERO-Spatialで分析し、同義語の言い換えが物体選択を誤らせる一方、完了率低下の原因箇所を接続部前後の介入実験で特定した論文。

詳しい要約

1. どんなもの?

- VLA policy の言い換え(rewording)に対する脆弱性を、GR00T N1.7 を対象に分析した研究。 - 二つの LIBERO-Spatial タスク(二つの bowl のどちらを取るかを示す landmark 単語だけが異なる)を用いる。 - 失敗が『object choice の誤り』か『task completion の失敗』かを切り分け、policy のどこに介入すべきかを探る。

2. 先行研究と比べてどこがすごい?

- 従来は success rate のみで評価していたが、それでは choice と completion のどちらで失敗したか、どこに介入すべきかが分からないと指摘。 - 本研究は choice と completion を分離して評価する枠組みを提示。 - closed loop での評価と connector の両側への介入を推奨する点が従来と異なる。

3. 技術・手法の肝は?

- connector(vision-language model と action generator の間)の前後で landmark tokens の vector を他方の landmark のものに置換(pasting)する介入を行う。 - connector 前の pasting はほぼ全 episode で bowl の選択を反転させる。 - connector 後は landmark・残り instruction・image tokens の単独 pasting では選択はほぼ動かず、任意の二つを同時に行うと動く。 - connector 後の landmark tokens を action generator から隠すと、completion が低下する。

4. どうやって有効だと検証した?

- 学習指示に無い synonym は、でっち上げ語と異なり指示された bowl へ policy を導くが、一方のタスクの closed-loop episode の完了率は 67.6%(元の単語は 100%)。 - 多様化した landmark 単語での finetuning が、finetuning に無い synonym の completion を修復。元の指示での finetuning では修復しない。 - connector のみの学習でも十分で、多様化語で完全 finetuning した policy の connector を元指示で finetuning した policy にコピーしても修復される。 - 開始フレームのみの open-loop スコアでは connector 外の重みが修復の一部を担うことを見逃す。

5. 議論はある?

- 現時点の証拠では、rewording への robustness は closed loop で actions を実行して評価すべき。 - connector の両側に介入し、choice と completion を別々に採点すべきと主張。 - open-loop 評価の限界(connector 外の重みの寄与を見逃す)も議論。 - 一般化可能性や他モデルへの適用は要旨からは不明。

6. 次に読むべき論文は?

- 本研究で対象となった GR00T N1.7 の原論文。 - 評価に用いた LIBERO-Spatial の benchmark 論文。 - VLA policy の言語頑健性や instruction following を扱う関連研究(要旨で明示的な参照は無く、同分野の定番として一般名を挙げる)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryoichi Kurihara, Kota Sunamoto

分類: cs.RO, cs.CL, cs.LG

原文アブストラクト

VLA policies are fragile to rewording. Success rates alone cannot say whether a policy fails to choose the object or to complete the task, nor where in the policy to intervene. We study the released GR00T N1.7 on two LIBERO-Spatial tasks differing only in the landmark word telling which of two bowls to take. Synonyms absent from the training instructions send the policy to the bowl they name, unlike made-up words, yet complete 67.6% of one task's closed-loop episodes, against the original word's 100%. Before the connector between the vision-language model and the action generator, replacing only the landmark tokens' vectors with the other landmark's (pasting) sends nearly every episode to the other bowl. After the connector, pasting at the landmark, the remaining instruction, or the image tokens alone rarely moves the choice, but any two do. Hiding the landmark tokens from the action generator after the connector still lowers completion for the synonyms that fall short. Finetuning on diversified landmark words repairs that one task's completion for synonyms absent from finetuning; finetuning on the original instructions does not. Training only the connector on the diversified words suffices, as does copying the connector of a policy fully finetuned on them into one finetuned on the original instructions. An open-loop score on starting frames misses that weights outside the connector also carry part of the repair. For now, on this evidence, robustness to rewording should be judged in closed loop, with actions executed, intervening on both sides of the connector, scoring choice and completion separately.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI