何が起きたか
arXivに2026年11月6日掲載された研究は、視覚・言語・行動モデルOpenVLAが禁止指示に従うか、また実行する目標がモデル内のどこに表れるかを調べた。LIBERO-Goalでは、否定指示を含む試行の79%で禁止されたタスクを実行し、否定指示のない通常タスクは78%完了した。研究チームは、目標の編集には層12より前への介入、または生成される全アクショントークンへの介入が必要だと報告した。
詳細
10種類のタスクが同一シーンを共有するLIBEROGoalを用い、閉ループでのロールアウト、活性パッチング、線形プローブ、活性ステアリング、実行時モニターを組み合わせた。目標を読むプローブの出力は「Xをしない」と「Xをする」で似ており、否定表現による実行タスクの変化は検出されなかった。 指示トークンへの固定ステアリングベクトルは層8で18試行中12試行を別の目標へ誘導した。層12〜20の固定ベクトルとプレフィル・パッチは、158試行で誘導に成功しなかった。層16以降では、生成された各アクショントークンへのパッチが必要で、層24では18試行中15試行を誘導した。指示がロールアウト中に変わる場合、層32の目標読み出しは失敗検出器より指示不遵守をよく検出し、画像・指示特徴を用いる外部プローブも同程度の性能だった。
Key Facts
| 研究対象は視覚・言語・行動モデルOpenVLAで、否定指示によるタスク実行への影響と目標表現の位置を調べた。 | [1] |
| LIBERO-Goalでは、否定指示を含む試行の79%で禁止タスクを実行し、通常タスクの完了率は78%だった。 | [1] |
| 層8の指示トークンへの固定ステアリングベクトルは、18試行中12試行を誘導した。 | [1] |
| 層12〜20の固定ベクトルとプレフィル・パッチは、計158試行で誘導に成功しなかった。 | [1] |
| 層24では、生成されたすべてのアクショントークンへのパッチにより、18試行中15試行が誘導された。 | [1] |
本紙の見方
この研究の焦点は、否定表現をモデルが理解できるかという言語能力の評価だけではない。禁止文を与えてもOpenVLAが禁止タスクを実行した割合は79%で、通常指示のタスク完了率78%と近い。少なくともこのベンチマークでは、指示に「してはならない」と書くこと自体が、実行目標を切り替える仕組みとして機能しなかった。数値はLIBERO-Goal上のOpenVLAの結果であり、別のモデルや実環境全般にそのまま当てはめることはできない。 介入結果は、編集可能性がモデル内部の位置と実行時点に左右されることを示す。指示トークンへのステアリングは層8で18試行中12試行に効いたが、層12〜20の固定ベクトルやプレフィル・パッチは158試行で成功しなかった。さらに層16以降では、指示の初期処理だけを変えるのではなく、生成される各アクショントークンへのパッチが必要で、層24では18試行中15試行が誘導された。したがって、モデル内部に一度だけ介入すれば後続動作も変わる、という設計をこの結果から期待することはできない。 運用上の含意は、禁止事項を自然言語の指示だけで担保する設計と、実行時に仕様との整合を確認する仕組みを分けて考える必要がある点にある。研究チームは外部で禁止事項を強制し、目標読み出しを仕様と照合して監視する方法を支持している。指示変更時には層32の目標読み出しが失敗検出器より不遵守をよく検出し、画像・指示特徴に基づく外部プローブも同程度だったという結果は、監視信号をモデル内部の単一指標に依存させない選択肢を示す。ただし、これらは論文で検討された条件下の比較であり、実機での安全性や誤検知率を確立するものではない。 次に確認すべきなのは、別のタスク、モデル、シーンでも否定指示の実行が同様に起きるか、また外部モニターが実行を止める制御まで含めて評価されているかである。抄録が示すのは目標の読み出しや誘導の成績であり、実機での危険回避性能、監視の誤警報、介入を加えた際の動作の安定性は示されていない。禁止文を受け取ること、禁止対象を表現すること、実際の行動を抑止することを別々に測る必要がある。
なぜ重要か
OpenVLAでは、否定指示を含む試行の79%で禁止タスクが実行された一方、研究チームは外部で禁止事項を強制し、目標読み出しを仕様と照合する方法を支持している。ロボットの動作を自然言語の禁止指示だけで制約する用途では、指示への適合確認と実行時の監視を分けて評価する必要がある。