不一致度に基づく弱モデルから強モデルへのルーティング

- 小型言語モデルをエッジデバイスやロボティクスに展開する際、コストと遅延の制約から能力不足が問題となる。 - 強いモデルによる支援が有効だが、いつ弱モデルの応答を強モデルにルーティングするかの判断は、正解信号が必要でスケールしにくい。 - 本研究は、正解教師なしでルーティングを導く信号として「モデル間不一致」を提案し、弱→強ルーティングの基礎を再検討する。

- 従来の弱→強ルーティングは応答の正しさ信号に依存し、オープンエンドやエージェントタスクでは正解教師の取得が高コストで困難。 - 提案手法は正解教師なしでモデル間比較からルーティングを近似し、コストと精度のトレードオフを効果的に扱う。 - 正解信号が訓練に利用可能な場合でも、不一致ベースのルーティングが正しさ予測を直接訓練した手法を上回ることがある。

- 最適な弱→強ルーティングポリシーを特徴づけ、局所推論で生成された複数の弱モデル応答を許容する。 - その特徴づけに基づき、モデル間比較による原理的な近似を導出。 - モデル生成応答から直接測定可能な「モデル不一致」の概念を導入し、正解教師なしでルーティングを決定。 - 強モデルが真の分布のより良い代理となるにつれ、近似精度が向上する。

- エージェントタスクと単一ターンタスクで評価。 - 正解教師なしでルーティングコストと応答精度のトレードオフを効果的にナビゲートすることを示す。 - 正解信号が訓練に利用可能な場合でも、不一致ベースのルーティングが正しさ予測を直接訓練した手法を上回ることを確認。

- 要旨からは不明。

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、weak-to-strong generalization、model routing、mixture-of-experts、cascade models などが挙げられる。