VLAモデルは本当に指示に従うのか？Howレベル指示追従の診断

- Vision-Language-Action (VLA) モデルが、タスク内容を指定する What-level 指示ではなく、実行方法を指定する How-level 指示に従えるかを診断する研究。 - 現行 VLA は How-level 指示の影響を受けず、タスク成功率を低下させることを発見。 - 訓練エピソードごとに単一指示を与えることが制限要因と仮説し、segment-level の enriched 指示で訓練すると行動が指示に反応するようになるが、成功率は一貫して向上しないことを示す。 - 標準ベンチマークを超えて How-level 指示追従を測る SIMPLER-IN を導入。指示にのみ与えられた条件を満たす必要がある。 - 得られた反応性は要求の厳しい、または out-of-distribution な How-level 指示には及ばないことを示す。

- 先行研究はタスクを指定する What-level 指示に焦点を当ててきたが、本研究は実行方法を指定する How-level 指示に着目。 - 現行 VLA が How-level 指示に従わず、むしろ成功率を下げることを初めて体系的に診断。 - 訓練エピソードごとの単一指示が制限要因である可能性を示し、segment-level の enriched 指示で訓練するアプローチを提案。 - 標準ベンチマークでは測れない How-level 指示追従を評価する SIMPLER-IN を新たに導入。

- How-level 指示に対する VLA の応答を診断する実験を実施。 - 訓練エピソードごとに単一指示を与える従来設定に対し、segment-level の enriched 指示を各訓練エピソードに付与する訓練手法を試行。 - 行動が How-level 指示に反応するかを評価。 - 標準ベンチマークを拡張し、指示にのみ与えられた条件を成功条件とする SIMPLER-IN を設計。 - out-of-distribution な How-level 指示への汎化も評価。

- 診断実験により、How-level 指示が現行 VLA の成功率を低下させることを確認。 - segment-level enriched 指示で訓練後、行動が指示に反応するようになることを検証。 - SIMPLER-IN を用いて、要求の厳しい、または out-of-distribution な How-level 指示では反応性が及ばないことを実証。 - ただし、タスク成功率の一貫した向上は確認されなかった。

- How-level 指示追従は未解決の課題として残る。 - 訓練エピソードごとの単一指示が制限要因である可能性を指摘。 - segment-level enriched 指示で反応性は向上するが、成功率向上には至らない。 - 要求の厳しい、または out-of-distribution な How-level 指示への対応が不十分であることを議論。 - 要旨からは、具体的な議論の詳細や限界についてのさらなる言及は不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、SIMPLER-IN が挙げられる。 - 同分野の定番として、Vision-Language Models (VLMs) やロボティクスにおける指示追従の研究が考えられるが、要旨からは特定できない。