ペルシャ語の視覚言語行動データセットとベンチマークを公開　258件の実世界画像を収録

何が起きたか

arxiv.orgは2026-10-11、ペルシャ語の視覚言語行動データセットとベンチマーク「A Persian Vision-Language-Action Dataset and Benchmark for Ambiguity- and Infeasibility-Aware Instruction-to-Plan Grounding」を公開した。データセットは258件の事例と230枚の実世界の家庭・オフィス写真で構成される。各事例には参照プラン、意図的な曖昧性と実行不可能性のラベル、曖昧性を解くための質問応答対、訓練用の自動生成chain-of-thought rationaleが付く。

詳細

評価では、検索拡張、chain-of-thoughtプロンプト、エージェント的な曖昧性解消ステップを切り分けて検証した。比較は36件行われ、検索拡張は大きく、かつ頑健に有意な効果を示した一方、より細かな追加要素はこの規模では統計的にノイズと区別できなかった。 また、新しい指標PGOS-FAを導入した。これは既存のPG2Sを拡張し、手順順序への感度、過剰生成への罰則、ペルシャ語向け埋め込みを組み込んだものである。79件の実出力を使った盲検の人間相関調査では、PGOS-FAはLLM判定より少なくとも同程度に人間判断へ追随した。

Key Facts

本紙の見方

この発表の新しさは、ペルシャ語という言語条件だけでなく、曖昧性と実行不可能性を明示的に扱う点にある。視覚言語行動のベンチマーク自体は既に各言語・各環境で存在するが、ここでは「明確な指示を前提にした計画生成」ではなく、指示が曖昧な場合や実行不能な場合にどう解釈し、どの質問で切り分けるかまで評価対象に含めている。つまり、単なる言語移植ではなく、実運用で起きる失敗パターンをベンチマーク側に埋め込んだ構成である。 本紙の見方では、記事の中心はデータセットの規模そのものより、評価設計の切り替えにある。36件の比較では検索拡張が強い効果を持った一方、chain-of-thoughtやエージェント的な曖昧性解消の上積みはこの規模ではノイズと分離できなかった。これは、計画性能の差を「モデルの賢さ」だけで読むのではなく、外部検索や手順の順序付け、過剰生成の抑制がどこまで効くかを分けて確認すべきだと示している。本紙が材料として重視するのは、PGOS-FAがPG2Sの拡張である点と、79件の盲検人間相関調査でLLM判定より人間判断に近かった点である。評価指標が変わると、同じ出力でも優劣の見え方が変わるためだ。 業界構造への含意としては、少なくとも三つある。第一に、家庭・オフィス写真という実世界画像を使っているため、合成環境中心の評価よりも、実機や実運用での指示解釈に近い条件を置いている。第二に、曖昧性解消を質問応答対としてデータ化したことで、計画生成は単発出力ではなく対話的な前処理を含む工程として評価される。第三に、open-weightモデルと強いclosed plannerの差の多くがopen-weight側の生成に帰せるとした点は、ベンチマークのスコア差をそのままモデル本体の能力差とみなす危険を示す。今後確認すべき論点は、参照プランの作成基準、曖昧性・実行不可能性の付与ルール、PGOS-FAの実装と評価コードの公開範囲、そして別バックボーンでも同様の傾向が再現するかである。

なぜ重要か

実世界の家庭・オフィス写真230枚を含む258件の事例は、合成データ中心の評価では見えにくい曖昧性と実行不能性の処理を検証する土台になる。発表者は、PGOS-FAがLLM判定より人間判断に近いとしており、計画生成の評価指標を選ぶ際の前提を変える可能性がある。

日本への影響

日本語ではなくペルシャ語を対象にした資源だが、曖昧性解消と計画評価を分けて設計している点は、日本で家庭用・業務用ロボットや対話型エージェントの評価系を作る際に、指示理解と行動計画を同一指標で扱わない設計の参考になりうる。