検索/構造的類似性2026/9/1arXiv:2609.01556v1

検索されるがランクされない：数学からエージェント軌跡までの構造的検索における表層形式バイアス

Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories

埋め込みベースの検索が、表層の類似性ではなく構造的類似性を持つ項目を検索できるかを、数学問題とエージェント軌跡の2つの領域で評価し、表層形式バイアスが強いことを示した。

詳しい要約

1. どんなもの？

本論文は、埋め込みベースの検索において、表面形式（表層の語彙）と意味が意図的に乖離する状況を評価する。具体的には、競技数学（MathNet-Retrieve、500クエリ、117,088項目）と身体化エージェントの軌跡（ALFWorld由来、118クエリ、336軌跡）という無関係な2領域で、共通プロトコルを用いて、構造的類似性を共有するが表現が異なる項目の検索性能を調べる。

2. 先行研究と比べてどこがすごい？

先行研究は通常、表面形式と意味が一致するベンチマークで検索を評価するが、本論文は意図的に両者を乖離させ、埋め込み検索が表層のトークンに依存することを明らかにする。数学では完全な失敗（最重難度でHit@1が0.0%）を、軌跡では偶然以下を実証し、検索がタスク構造ではなく文字通りのトークンに基づくことを示す点が新しい。

3. 技術・手法の肝は？

手法の肝は、表面変動が敵対的か偶発的かを識別するための語彙リランカ制御と、LLMリランカの使用にある。語彙リランカの符号がベンチマークの性質を示し、LLMリランカはギャップの一部を回復するが、その効果は領域や難易度層、判定者によって異なる。また、下流実験ではオラクル検索と敵対的検索を比較し、検索の改善が解法性能に寄与しないことを示す。

4. どうやって有効だと検証した？

数学では、最重難度でHit@1が0.0%（ブートストラップ95% CI [0.0, 0.0]）である一方、正解はほぼ常にトップ10に入ることを示す。軌跡では、異なるオブジェクトを含む場合に偶然レベル以下、オブジェクトとレセプタクルが異なる場合には全埋め込みで偶然以下となる。語彙リランカは数学で悪化、軌跡で改善（ギャップの26〜36%を解消）。LLMリランカは数学で5〜63%、軌跡で43〜76%のギャップを回復し、21セル全てで正の効果。下流実験では、オラクル検索と敵対的検索に有意差なし（McNemar p=0.678）。

5. 議論はある？

数学におけるLLMリランカの回復は、よく知られた競技に集中しており（+19.8ポイント、CI [+6.7, +33.2]、6セル中1つ）、記憶による部分があると議論される。また、下流実験では、ソルバーのゼロショット精度69.5%は主に打ち切りプロキシ（完了済み回答で97〜100%）であり、検索改善の余地がないことを示す。さらに、判定者間で効果量や難易度プロファイルが異なり、評価の頑健性に疑問を投げかける。

6. 次に読むべき論文は？

要旨で参照されている研究は、MathNet-Retrieve、ALFWorld、およびLLMリランカの比較に用いられた3つの判定者（judges）に関するものである。具体的な論文名は不明だが、関連する分野として、埋め込み検索の評価、構造的検索、LLMによるリランキング、および身体化エージェントの軌跡検索に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nabira Rashid, Manolis Kellis

分類: cs.LG, cs.AI, cs.IR

原文アブストラクト

We evaluate embedding retrieval where surface form and meaning are pulled apart on purpose: retrieving items that share underlying structure but not wording, in two unrelated domains under one protocol, competition mathematics (MathNet-Retrieve; 500 queries, 117,088-item corpus) and embodied-agent trajectories (ALFWorld-derived; 118 queries, 336 trajectories). In mathematics the failure is complete: strict Hit@1 at the heaviest disguise tier is 0.0% for both production embedders (bootstrap 95% CI [0.0, 0.0]) while the correct item sits in the top 10 nearly always, and in 95.2 to 99.8% of misses the winner is more lexically similar to the query than the correct answer. In trajectories, where surface variation is incidental, the same models land at or near hypergeometric chance when gold must involve a different object, and below chance for all three embedders once gold must differ in object and receptacle: retrieval anchors on literal tokens, not task structure. A lexical reranker control hurts in mathematics and helps in trajectories (closing 26 to 36% of the gap, CIs excluding zero); its sign reveals whether a benchmark's surface variation is adversarial or incidental. An LLM reranker recovers 5 to 63% of the gap in mathematics and 43 to 76% in trajectories; direction replicates across three judges (all 21 cells positive), but effect sizes, tier profiles, and the outlier judge change with domain (paired differences excluding zero everywhere). Mathematics gains concentrate on well-known competitions (+19.8 points, CI [+6.7, +33.2], one of six cells), so part of the recovery is memorization. In a paired downstream experiment (210 queries, graders at 96 to 99% agreement), oracle retrieval was indistinguishable from adversarially bad retrieval (McNemar p = 0.678); the solver's 69.5% zero-shot accuracy is largely a truncation proxy (97 to 100% on finished answers), leaving no headroom.

arXivで原文を読む →arXiv概要ページ

← 論文一覧