PACE: 体感遅延を考慮したカスケードサービスルーティングとフィラー制御によるQoE効率の高い検索拡張対話サービス

- 本論文は、retrieval-augmented dialogue serving のための PACE フレームワークを提案する。 - Perceived Time-to-First-Response (PTFR) を QoE 目的として定式化し、品質/コスト制約下で最小化する。 - 人間型ロボット販売サービスに展開され、load-adaptive cascading router、joint path-filler controller、volatility-aware cache admission の3機構を組み合わせる。 - 75k CarQA リクエストで評価。

- 従来の cascaded routing、semantic caching、adaptive retrieval と異なり、PACE は応答を構成する answer source と待機時間を埋める filler を同時に制御する。 - カスケードにより pure-LLM の PTFR を P95 で半減（c16 で 0.29 vs 0.53s）。 - 適応コントローラは高負荷時に RAG より 2.4 倍優れ、同等品質を達成。 - filler コントローラは呼び出しを 94% 削減し、競合ゼロ。 - volatility-aware admission は古い回答を 86% から 0% に削減。 - ゲーティングルールによりコントローラはベースラインより悪化せず、露出は1ホールド期間に制限。 - 展開サービスにおける filler-answer conflict risk の初の定量化。

- load-adaptive cascading router：負荷に応じて answer source をカスケード的に選択。 - joint path-filler controller：待機ウィンドウを埋める filler を制御。 - volatility-aware cache admission：キャッシュの陳腐化を考慮した admission 制御。 - これらを統合し、PTFR を QoE 目的として品質/コスト制約下で最小化。

- 75k CarQA リクエストを用いて評価。 - カスケードは pure-LLM の PTFR を P95 で半減（c16 で 0.29 vs 0.53s）。 - 適応コントローラは高負荷時に RAG より 2.4 倍優れ、同等品質。 - filler コントローラは呼び出しを 94% 削減し、競合ゼロ。 - volatility-aware admission は古い回答を 86% から 0% に削減。 - ゲーティングルールによりベースラインより悪化しないことを確認。

- filler-answer conflict risk の定量化は初。 - ゲーティングルールによりコントローラがベースラインより悪化しないことを保証し、露出は1ホールド期間に制限。 - その他の議論や限界は要旨からは不明。

- 要旨で参照/比較されている研究：cascaded routing、semantic caching、adaptive retrieval、RAG。 - 関連手法として retrieval-augmented dialogue serving や QoE 最適化に関する研究が挙げられる。