ワールドモデル2026/8/6arXiv:2608.06544

TaskSense: ワールドモデルにおいて重要なものに焦点を当てる

TaskSense: Focusing on What Matters in World Models

視覚制御のためのワールドモデルにおいて、タスクに関連する領域のみに注意を向ける確率的空間アテンション機構を導入し、逆動力学の補助損失で訓練することで、タスク無関係な背景の影響を抑えつつ、制御性能を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの？

TaskSenseは、視覚制御のためのWorld Model学習フレームワークである。従来のWorld Modelは観測全体の再構成により潜在状態を学習するが、タスク関連情報が視覚入力の一部に過ぎない場合、背景などの無関係な情報に表現能力を浪費し、制御性能が低下する。TaskSenseは、前の潜在状態に条件付けられた微分可能な確率的空間アテンション機構を導入し、潜在符号化前にタスク関連領域へ注意を向ける。補助の逆動力学目的で注意を制御関連領域へ誘導し、World Modelは注目領域のみを再構成することで、タスク関連情報を保持しつつ無関係な視覚内容を捨てる。デコーダはサンプリングされたアテンションマップに条件付けられ、確率的注意でも一貫した再構成を可能にする。

2. 先行研究と比べてどこがすごい？

先行研究のDreamerV3などのWorld Modelは観測全体の再構成を行うため、視覚的妨害（distractors）があるとタスク無関係な情報に表現能力を費やし、下流の制御性能が低下する。TaskSenseは、再構成対象を注目領域に限定し、逆動力学目的で注意を制御関連領域に誘導することで、この問題を直接的に解決する点が新しい。また、確率的空間アテンションを微分可能な形で導入し、デコーダをアテンションマップに条件付けることで、エンドツーエンドの学習を可能にしている。

3. 技術・手法の肝は？

手法の核は、①前の潜在状態に条件付けられた微分可能な確率的空間アテンション機構により、観測のタスク関連領域を特定すること、②補助の逆動力学目的（inverse-dynamics objective）で注意を制御関連領域へ誘導すること、③World Modelは注目領域のみを再構成し、デコーダはサンプリングされたアテンションマップに条件付けられることで、確率的注意でも一貫した再構成を実現すること。これにより、潜在表現がタスク関連情報を保持し、無関係な視覚内容を捨てる。

4. どうやって有効だと検証した？

DeepMind Control SuiteとDistracting Control Suiteで評価した。DreamerV3ベースラインと比較し、DeepMind Control Suiteでは同等の性能を維持しつつ、Distracting Control Suiteでは一貫して上回る性能を示し、視覚的妨害に対するロバスト性が大幅に向上した。また、定性的分析により、逆動力学の監督で学習された注意が、制御関連領域を一貫して特定し、無関係な視覚内容を抑制することを確認した。

5. 議論はある？

要旨からは、TaskSenseの注意機構がタスク関連領域を特定する一方で、複雑なタスクや動的環境での注意の安定性、またアテンション機構の追加による計算コスト増加の可能性などは議論されていない。さらに、逆動力学目的がタスクによっては十分な監督信号を提供できない場合の性能低下の可能性も不明である。これらの点は要旨からは不明であり、今後の研究で検討されるべきであろう。

6. 次に読むべき論文は？

要旨で参照されているDreamerV3が次に読むべき論文である。また、関連するWorld Modelの研究として、DreamerV2やTD-MPCなども挙げられるが、要旨では明示されていないため、一般名としてWorld Model関連の論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: SM Mazharul Islam, Manfred Huber

分類: cs.AI, cs.CV, cs.LG

原文アブストラクト

World models for visual control typically learn compact latent states by reconstructing observations, implicitly encouraging representations to preserve information across the entire visual input. However, task-relevant content often occupies only a small fraction of the observation, while background clutter and distractors consume valuable representational capacity. This mismatch between visual reconstruction and control objectives biases latent representations to model task-irrelevant visual content, diluting learning signals for control-relevant features and severely degrading downstream performance under visual distractions. We introduce TaskSense, a task-centric world modeling framework that enforces task relevance before latent encoding through a differentiable stochastic spatial attention mechanism conditioned on the previous latent state. To steer attention toward control-relevant regions, we augment training with an auxiliary inverse-dynamics objective. Rather than reconstructing the full observation, the world model reconstructs only the attended regions, encouraging latent representations to preserve task-relevant information while discarding irrelevant visual content. The decoder is further conditioned on the sampled attention map, enabling consistent reconstruction despite stochastic attention. Compared with the DreamerV3 baseline, TaskSense maintains competitive performance on the DeepMind Control Suite while consistently outperforming DreamerV3 on the Distracting Control Suite, demonstrating substantially improved robustness to visual distractions. Qualitative analysis further confirms that the learned attention, guided by inverse-dynamics supervision, consistently localizes control-relevant regions while suppressing irrelevant visual content.

arXivで原文を読む →arXiv概要ページ