日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

言語世界モデルarXiv:2611.25594

Bradley-Terry学習は初期精度の高い言語世界モデルの結果確率を歪めうる

Bradley-Terry Training Can Distort Outcome Probabilities of Initially Accurate Language World Models

シェア:XThreadsFacebookLINEはてブBluesky

比較フィードバックによるBradley-Terry目的関数での学習が、正確な結果確率を物理的に不可能な結果へ大きく移行させてしまうことをシミュレーションで示し、その原因が目的関数自体にあることを明らかにした論文。

詳しい要約

1. どんなもの?

- 言語世界モデル(language world model)に、ある行動の結果に対して確率を割り当てさせる訓練手法に関する研究。 - 比較フィードバック(judgeが2つの候補結果のうちどちらが実際に起きたことに近いかを述べる)をBradley-Terry目的関数で学習させる。 - シミュレートされたrobot pushタスクで、この目的関数が真の結果確率を教えず、むしろ正確な確率を歪めることを示す。

2. 先行研究と比べてどこがすごい?

- 比較フィードバックは言語世界モデル訓練の実用的手法とされるが、Bradley-Terry目的関数では真の結果確率を学習できず、既に正確な確率を歪めうることを示した点。 - 未見レイアウトで正確(hazard error 2.4pp)なモデルが、列挙されたどの分岐も生成しない結果に33〜43ppの確率を移す。 - 原因は比較データではなく目的関数そのものだと、訓練前の最適解計算で予測し、judgeの規則を知るlikelihoodでは同じ比較からシフトなく学習できることで示す。

3. 技術・手法の肝は?

- Bradley-Terry目的関数の最適解を訓練前に計算し、モデルがどこへ収束するかを予測。 - 結果分布を列挙したシミュレートされたrobot pushで、物理的に不可能な事象への確率移動を測定。 - judgeの規則を既知とするlikelihoodベースの学習と比較し、目的関数由来のシフトかを切り分け。 - readout・response・decisionのauditで確率から行動への影響を追跡。

4. どうやって有効だと検証した?

- 未見条件、5つの候補law、3倍密な列挙でもシフトが再現することを確認。 - 物理的に不可能な事象を除いても約29ppのシフトが残る。 - 訓練済みモデルで閾値が1決定あたり約3ppのutility損失、未見条件で1〜2ppの損失をfalse reject経由で生む。 - 不可能事象なしでは6シード平均でutility損失1pp未満だが、行動選択に小さなregretが残る。

5. 議論はある?

- シフトのコストは条件的:物理的に不可能な事象があるとhazard確率を膨らませ、事前フィードバックモデル由来の閾値がfalse rejectを介してutilityを損なう。 - 不可能事象がなければutility損失は平均1pp未満だが、行動選択の小さなregretは残る。 - 原因が目的関数にあるため、比較の質やデータ量では解決しない可能性を示唆。

6. 次に読むべき論文は?

- Bradley-Terry目的関数を用いた比較フィードバック学習(comparative feedback / Bradley-Terry training)の関連研究。 - judgeの規則を既知とするlikelihoodベース学習(likelihood that knows the judge's rule)。 - 言語世界モデル(language world model)の確率校正・auditに関する研究。 - 要旨で参照/比較されている個別論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinze Shi, Litian Zhang, Zhenjie Su, Zelong Yu, Yuting Zhang, Qihua Feng, Zifeng Kang, Chaozhuo Li, Zhengxuan Hu

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Comparative feedback, in which a judge says which of two candidate outcomes is closer to what happened, is a practical way to train language world models that assign probabilities to an action's outcomes. We show that, fitted with a Bradley-Terry objective, it need not teach the true outcome probabilities and can distort accurate ones. On a simulated robot push with enumerated outcome distributions, this objective takes a model that is accurate on unseen layouts (hazard error 2.4 percentage points, pp) and moves 33 to 43 pp of its probability onto outcomes that none of a condition's enumerated branches produces. The cause is the objective, not the comparisons: its optimum, computed before training, predicts where the model ends up, and a likelihood that knows the judge's rule learns from the same comparisons without the shift. The shift is robust: it recurs on unseen conditions, under five candidate laws and a three-fold denser enumeration, and about 29 pp remain without the physically impossible events. Its cost is conditional: with those events it inflates hazard probabilities, and a threshold inherited from the pre-feedback model costs about 3 pp of utility per decision on trained and 1 to 2 pp on unseen conditions, through false rejects; without them the utility loss averages below 1 pp over six seeds, though a small regret in action choice remains. Audits of readout, response and decision trace the effect from probabilities to actions.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI