マルチタスク強化学習2026/8/31arXiv:2608.30765v1

T3S: タスク固有特徴セレクタとスケジューラによるマルチタスク強化学習の改善

T3S: Improving Multi-Task Reinforcement Learning with Task-Specific Feature Selector and Scheduler

マルチタスク強化学習におけるタスク間干渉を解決するため、ハイパーネットワークでタスク固有のソフトマスクを生成する特徴セレクタと、タスクの進捗と学習速度に基づいて学習タスクを選択するスケジューラを提案した。ロボット操作タスクで既存手法より優れた性能を示した。

詳しい要約

1. どんなもの？

T3Sは、Multi-Task Reinforcement Learning (MTRL)のための新しいフレームワークであり、タスク固有の特徴セレクタとタスクスケジューラの2つのコンポーネントから構成される。特徴セレクタはハイパーネットワークを用いてタスク固有のソフトマスクを構築し、グローバルに共有された表現に適用することでタスク固有の特徴を生成する。タスクスケジューラは、タスクの進捗（例：成功率）と学習速度の2つの指標に基づいて学習するタスクを選択し、選択確率はタスク進捗と学習速度に反比例する。これにより、タスク間の干渉を軽減し、学習効率を向上させることを目指す。

2. 先行研究と比べてどこがすごい？

従来のMTRL手法は、複数のタスク間でパラメータを共有する単一モデルを訓練することが多いが、タスク間でどのパラメータを共有すべきかが考慮されず、タスク間干渉が発生し学習効率が低下する問題があった。T3Sは、タスク固有の特徴選択とタスクスケジューリングを導入することで、この問題に対処し、タスク間の干渉を軽減する点が新しい。また、ハイパーネットワークによるソフトマスク生成と、タスク進捗と学習速度に基づく動的なタスク選択は、既存手法にはない独自のアプローチである。

3. 技術・手法の肝は？

T3Sの手法の肝は、2つの主要コンポーネントにある。第一に、特徴セレクタはハイパーネットワークを使用してタスク固有のソフトマスクを生成し、これを共有表現に適用することでタスク固有の特徴を抽出する。これにより、タスク間で共有される部分とタスク固有の部分を分離できる。第二に、タスクスケジューラは、タスクの進捗（成功率など）と学習速度の2つの指標を監視し、選択確率をこれらの指標に反比例させることで、学習が遅れているタスクや進捗が低いタスクを優先的に学習する。これにより、タスク間の学習バランスを調整し、全体の学習効率を向上させる。

4. どうやって有効だと検証した？

実験では、様々なロボット操作タスクを用いて、T3Sが最先端のMTRLアルゴリズムを一貫して上回る性能を示したと報告されている。具体的なタスクや比較手法の詳細は要旨からは不明だが、複数のロボット操作タスクでの有効性が検証されている。

5. 議論はある？

要旨からは、T3Sの限界や議論点は明示されていない。ただし、タスクスケジューラの設計（進捗と学習速度の指標の選択）や、ハイパーネットワークのスケーラビリティなどが潜在的な議論点となり得るが、要旨には含まれていないため不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法は明示されていないが、MTRLの分野では、一般的なマルチタスク学習手法（例えば、Multi-Task Learning, MTRL）や、タスクスケジューリングに関する研究（例えば、Curriculum Learning, Task Scheduling）が関連する。具体的には、ハイパーネットワークを用いた手法や、タスク間の干渉を扱う手法（例えば、PCGrad, GradNorm）が挙げられるが、要旨からは特定できないため、同分野の定番論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanqiang Yu, Tianpei Yang, Yongliang Lv, Yan Zheng, Jianye Hao

分類: cs.LG

原文アブストラクト

Multi-task reinforcement learning (MTRL) is a technique to train multiple tasks simultaneously, where previous works usually train a single model to solve different tasks by sharing parameters across various tasks. However, these methods are faced with inter-task interference since what parameters should be shared across tasks is not addressed, dramatically reducing learning efficiency. To solve these problems, we propose a novel MTRL framework called Task-Specific feature Selector and Scheduler (T3S), which consists of two components: a feature selector and a task scheduler. Specifically, the feature selectors employ hypernetworks to construct task-specific soft masks, which can be applied by globally shared representation to construct task-specific features. The task scheduler selects tasks for learning through two metrics, where the selection probability is inversely proportional to task progress (e.g., success rate) and task learning speed. Experimental results show that T3S consistently outperforms the state-of-the-art MTRL algorithms on various robotics manipulation tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧