日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/評価arXiv:2611.11842

コネクテッドロボティクスにおける証拠に基づく共有信念更新のベンチマークと階層的評価プロトコル

A Benchmark and Layered Evaluation Protocol for Evidence-Grounded Shared Belief Updating in Connected Robotics

シェア:XThreadsFacebookLINEはてブBluesky

ロボットやIoTセンサーの観測を統合する共有信念更新を『証拠から信念への軌跡』として評価するCREGベンチマークを提案し、関係情報の寄与やモデルの弱点を分析した。

詳しい要約

1. どんなもの?

- Connected Robotics における shared belief updating を『evidence-to-belief trajectory』として評価する枠組み - Connected Robotics Evidence Graph (CREG) Benchmark を提案 - 350 の決定論的生成シナリオを 7 regimes で構成 - justified revision, belief preservation, relation association, contradiction onset and resolution, stale/delayed evidence, source reliability - 各 evidence prefix に normative posterior reference を付与 - 9 つの representation conditions で relation content と serialization/ordering/metadata を分離 - 評価対象 - 4 つの…

2. 先行研究と比べてどこがすごい?

- 従来評価は最終 answer/action のみを採点し、evidence attribution・belief update・contradiction 処理・decision 正当化を区別できないと指摘 - 提案評価は evidence-to-belief trajectory 全体を測定可能にする点が新しい - 各 evidence prefix での normative posterior reference を用意 - independent log-odds checker と blinded expert audit で参照を検証 - 9 つの representation conditions により relation content と serialization 等の交絡を分離 - endpoint-only 評価では検出できない mid-trajectory failures を可視化

3. 技術・手法の肝は?

- CREG Benchmark の設計 - 350 シナリオを 7 regimes で決定論的に生成 - 各 evidence prefix に normative posterior reference を付与 - independent log-odds checker による検証と blinded expert audit によるスクリーニング - 9 つの representation conditions で relation content を serialization・ordering・metadata から分離 - 4 つの open-weight instruction models と 6 つの transparent fusion baselines を評価 - 指標として strict belief-state accuracy 等を用い、Holm-corrected p 値で統計検定

4. どうやって有効だと検証した?

- 350 シナリオ・7 regimes の CREG 上で 4 models と 6 fusion baselines を評価 - 主な結果 - entity grounding が weak-model deficit の相当部分を説明 - semantic relations を削除すると relation-dependent scenarios で strict belief-state accuracy が 15.3 points 低下 (Holm-corrected p<0.001) - 情報量を揃えた structured list は full graph を上回り、graph shuffling は性能を損なわない - belief accuracy は evidence sequence に沿って強く非単調で、endpoint-only 評価では検出できない mid-trajectory failures が存在 - 全 scenarios・references・prompts・metrics・analysis code を公開し、offline・h…

5. 議論はある?

- relation content は必要な場面で重要だが、graph serialization 自体に一貫した優位性は見られない - 情報量を揃えた structured list が full graph を上回る - graph shuffling が性能を損なわない - belief accuracy の非単調性と mid-trajectory failures は、最終回答のみを見る評価の限界を示す - entity grounding が弱いモデルの deficit の大きな部分を占める - 要旨からは不明 - 各 regime 間の難易度差の詳細 - 実ロボット・実環境への一般化可能性 - モデル規模や architecture 依存性

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない - 関連手法として以下が候補 - transparent fusion baselines - open-weight instruction models - evidence attribution / belief updating の評価研究 - contradiction handling や source reliability を扱う既存ベンチマーク - 同分野の定番として - evidence-grounded reasoning のベンチマーク - multi-source fusion の評価手法 - log-odds に基づく belief update の理論研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ranulfo Bezerra, Kimitoshi Yamazaki

分類: cs.RO, cs.AI, cs.CL, cs.MA

原文アブストラクト

Connected physical systems fuse observations from robots, IoT sensors, and edge-AI modules into a shared account of the world, yet most evaluations score only the final answer or action and cannot tell whether a method attributed the evidence, updated its belief, handled contradictions, and justified its decision. We argue that shared reasoning in Connected Robotics should be evaluated as an evidence-to-belief trajectory, and introduce the Connected Robotics Evidence Graph (CREG) Benchmark to make that trajectory measurable. CREG comprises 350 deterministically generated scenarios across seven regimes (justified revision, belief preservation, relation association, contradiction onset and resolution, stale/delayed evidence, and source reliability), each exposing a normative posterior reference at every evidence prefix, validated by an independent log-odds checker and screened by a blinded expert audit. Nine representation conditions separate relation content from serialization, ordering, and metadata. Evaluating four open-weight instruction models and six transparent fusion baselines yields three findings. First, entity grounding accounts for a substantial part of the weak-model deficit. Second, deleting semantic relations costs 15.3 points of strict belief-state accuracy on relation-dependent scenarios (Holm-corrected p<0.001), but an information-matched structured list outperforms the full graph and shuffling the graph does not hurt: relation content matters where required, while graph serialization confers no consistent advantage. Third, belief accuracy is strongly non-monotonic along the evidence sequence, with mid-trajectory failures that endpoint-only evaluation cannot detect. All scenarios, references, prompts, metrics, and analysis code are released for offline, hardware-free reproduction.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI