部品のグラウンディングこそがボトルネック：VLMのアフォーダンス予測における失敗要因の特定

- 視覚言語モデル（VLM）のaffordance予測におけるボトルネックを特定する研究。 - 物体のどの部分に作用するか（part grounding）と、その部分に必要な動作（action knowledge）を分離。 - 19のarticulated objectsに対し、3開発者による8モデルにロボットの動作を質問。 - オープンプロンプトではpushが正解である8/19物体で、64回中1回しか生成されず。 - モデルはスコア対象と異なる部分を記述（例：カメラのボタンを押す代わりに持ち上げ方）。 - 対象部分を明示すると動作精度が0.32〜0.63向上し、push recallも0-1/8から7-8/8に。 - オープンプロンプトでは定数ベースラインを超えるモデルはないが、部分明示後は全モデルが超える。 - 自由記述で同じ部分を説明させると、8モデル中6〜8が押す言語を生成。 - 結果はaction knowledgeの欠如ではなく、part groundingが支配的ボトルネックであることを示唆。 - 実写真では8モデル中3のみがgrasp pointを定数ベースラインより良…

- 先行研究はVLMの低レベル操作推論の弱さを集計精度で示すが、どのステップが失敗するか不明。 - 本研究はaffordance質問が混同する2ステップ（part groundingとaction knowledge）を分離。 - 集計スコアではなく、ボトルネックをpart groundingと特定した点が新しい。 - オープンプロンプトでpushがほぼ生成されない一方、部分を明示すると劇的に改善することを示した。 - モデルファミリーや能力によらずパターンが保持されることを発見。 - 完璧なpart detectorが提供できる範囲を限定する結果を提示。 - 測定誤差を自己文書化し、自明な代替との比較の重要性を強調。

- 19のarticulated objectsを使用し、8モデル（3開発者）にロボットの動作を質問。 - オープンプロンプトと、対象部分を明示するプロンプトを比較。 - 動作ラベルセットを提示し、pushの生成頻度を評価。 - モデル出力を検査し、記述された部分とスコア対象部分の不一致を分析。 - 自由記述で同じ部分を説明させ、押す言語の生成を確認。 - 実写真とレンダリング物体でgrasp point定位を定数ベースラインと比較。 - 測定誤差を検出するため、自明な代替（定数ベースラインなど）と数値を検証。

- 19物体、8モデル、3開発者にわたる評価を実施。 - オープンプロンプトでのpush生成が64回中1回のみであることを確認。 - 部分明示により動作精度が0.158-0.474から0.684-0.947へ向上、push recallが0-1/8から7-8/8へ向上。 - オープンプロンプトでは全モデルが定数ベースラインを下回るが、部分明示後は全モデルが上回る。 - 自由記述で6-8/8モデルが押す言語を生成。 - 実写真で3/8モデルのみがgrasp point定位で定数ベースラインを上回り、レンダリング物体では0。 - 測定誤差2件を自明な代替との比較で発見。

- 結果はaction knowledgeの欠如ではなく、part groundingが支配的ボトルネックであることを示す。 - このパターンは3モデルファミリーすべてで保持され、能力によって減少しない。 - 部分を明示することでgrounding変数を供給するため、完璧なpart detectorが提供できる範囲を限定する。 - 一般的な力学モデルを実証するものではない。 - 実写真とレンダリング物体でのgrasp point定位の弱さが支持結果として一致。 - 測定誤差（閾値とラベリング規則）を文書化し、自明な代替とのテストの重要性を議論。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLMのaffordance予測、part grounding、action knowledge、grasp point定位の研究が挙げられる。 - 同分野の定番として、RoboRefIt、Where2Act、VLMベンチマーク（例：OpenVLA、RT-2）などが考えられるが、要旨からは不明。