ConfAL-WM: 信頼度ガイドによる行動条件付きワールドモデルの能動学習

ConfAL-WMは、行動条件付きワールドモデル（action-conditioned world models）の事後トレーニング（post-training）のための、信頼度ガイド付き能動学習（confidence-guided active learning）フレームワークである。EVACに基づき、UNetデコーダ特徴に軽量な信頼度プローブ（confidence probe）を追加し、潜在空間で高密度な信頼度マップ（dense confidence maps）を予測する。これらのマップをタスク・フレーム・パッチレベルのスコアに集約し、効率的なデータ選択と局所的なトレーニング強化を可能にする。パイプラインは、まず少数のターゲットドメインデータで信頼度プローブを再トレーニングしEVACをウォームアップし、次にタスクレベルの事前スクリーニングでサンプリング予算を割り当て、最後に選択データの再トレーニングとフレーム/パッチ加重によるデータ拡張を適用する。

先行研究では、ワールドモデルの誤差が新しいタスクやシーン分布において、ロボットアーム、操作対象物、接触領域、遮蔽物体などの局所的な時空間領域に集中することが知られているが、既存の能動学習手法はスカラー報酬や進捗、判定ベースのスコアを用いており、局所的な誤差を直接捉えられなかった。ConfAL-WMは、信頼度マップを予測し、それをタスク・フレーム・パッチレベルで集約することで、局所的な誤差を特定し、データ選択とトレーニング強化を効率的に行う点が新しい。

手法の核は、EVACのUNetデコーダ特徴に軽量な信頼度プローブを追加し、潜在空間で高密度な信頼度マップを予測することである。これらのマップをタスク・フレーム・パッチレベルのスコアに集約し、データ選択と局所的なトレーニング強化に用いる。パイプラインは、信頼度プローブの再トレーニングとEVACのウォームアップ、タスクレベルの事前スクリーニングによるサンプリング予算の割り当て、選択データの再トレーニングとフレーム/パッチ加重によるデータ拡張の3段階からなる。

RoboTwin2.0データセットを用いて実験を行い、信頼度ガイド付き選択が事後トレーニングの効率を向上させることを示した。また、高密度なフレームおよびパッチ加重が、スカラー報酬、進捗、判定ベースのスコアリングベースラインと比較して、予測品質と身体化された軌跡の一貫性をさらに向上させることを検証した。

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。また、他のデータセットや実ロボットでの検証が行われているかは不明であり、汎用性については議論の余地がある。

要旨で参照されているEVAC、および比較対象であるスカラー報酬、進捗、判定ベースのスコアリング手法に関連する論文が挙げられる。具体的には、EVACの元論文、能動学習の一般的な手法、ワールドモデルに関する基礎研究（例：Dreamer）などが関連する。