多タスク最適化2026/9/22arXiv:2609.25836

インコンテキスト誘導：数値基盤モデルによるタスク間相乗効果の学習と少数ショット多タスク最適化

In-Context Guidance: Learning Inter-Task Synergies via Numerical Foundational Models for Few-Shot Multitask Optimization

シェア:X Threads Facebook LINE はてブ Bluesky

数値基盤モデルをインコンテキスト学習で活用し、少数評価予算下での多タスク最適化におけるタスク間関係推定を改善するICG-MTOを提案。ベイズ最適化とMFEA-IIに適用し、ロボットアーム制御でも有効性を示した。

詳しい要約

1. どんなもの？

本論文は、限られた評価予算下での多タスク最適化(MTO)における負の転移を軽減するため、数値基盤モデルを活用したIn-Context Guidance Multitask Optimization (ICG-MTO)を提案する。これは、凍結された基盤モデルを用いてin-context learningによりタスク間の結合関係を推定し、few-shotシナリオでのMTO性能を向上させるフレームワークである。

2. 先行研究と比べてどこがすごい？

従来のMTO手法は観測データのみに依存し、タスク間関係の推定が不正確で負の転移を引き起こす。ICG-MTOは凍結基盤モデルから補助的ガイダンスを得ることで、データ不足下でもタスク間結合を正則化し、観測が増えるにつれガイダンスを徐々に減らす点が新しい。

3. 技術・手法の肝は？

ICG-MTOは3段階で動作する。1) 評価済み解からアルゴリズム固有のin-context queryを構築、2) 基盤モデルでタスク間の予測関係を特徴づけるガイダンス信号を推論、3) その信号をアルゴリズム固有のガイダンスに変換し、maximum-a-posteriori結合推定を行う。実装例として、multitask Bayesian optimizationではdirectional fitness-class queries、MFEA-IIではdecision-space-overlap queriesを用いる。

4. どうやって有効だと検証した？

合成ベンチマークと実世界のロボットアーム制御問題で実験し、異なるacquisition functionsやevolutionary multitasking下でも評価を行い、few-shot multitask optimizationにおける有効性と汎用性を示した。

5. 議論はある？

要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていないが、関連手法としてmultitask Bayesian optimization、MFEA-II、in-context learning、numerical foundational modelsが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tingyang Wei, Haofeng Wu, Jiao Liu, Zhao Wei, Puay Siew Tan, Yew-Soon Ong

分類: cs.LG, cs.AI, cs.NE

原文アブストラクト

Multi-task optimization (MTO) addresses a set of optimization tasks simultaneously, often suffering from inaccurate inter-task relationship estimation under limited evaluation budgets, leading to negative transfer. This paper introduces In-Context Guidance Multitask Optimization (ICG-MTO), a novel framework that leverages numerical foundational models to improve inter-task coupling estimation in few-shot scenarios. Unlike conventional methods that rely solely on scarce observed data, ICG-MTO employs a frozen foundational model to infer auxiliary guidance through in-context learning. The framework operates through three stages: constructing an algorithm-specific in-context query from evaluated solutions, using the foundational model to infer a guidance signal characterizing predictive relationships among tasks, and translating this signal into algorithm-specific guidance for maximum-a-posteriori coupling estimation. This approach provides regularization during the early, data-scarce stages of optimization and gradually relinquishes control as task-specific observations accumulate. We instantiate the framework in multitask Bayesian optimization as ICG-MTBO, using directional fitness-class queries to guide inter-task coupling estimation, and further instantiate it in MFEA-II using decision-space-overlap queries to guide random mating probability estimation. Experiments across synthetic benchmarks and a real-world robot arm control problem, together with evaluations under different acquisition functions and evolutionary multitasking, demonstrate the effectiveness and generality of ICG-MTO for few-shot multitask optimization.

arXivで原文を読む →arXiv概要ページ

← 論文一覧