ヤコビアン重心によるJEPA世界モデルの行動モニタリング

- 本論文は、World Model (WM) ベースの計画における失敗検出のために、モデルが現在のタスクと行動的に整合しているかを監視する手法を提案する。 - 具体的には、centroids（サブコンポーネントの Jacobian 行和）が WM の行動特性を効果的に識別し、従来の活性化ベースの知識信号を補完することを示す。 - centroids は Jacobian vector products を通じて容易に計算でき、入力空間の幾何学をモデルがどのように組織化するかを特徴づけ、タスク関連の saliency maps の生成を含む内部表現への効率的な視点を提供する。 - JEPA WMs を用いた連続制御タスクで評価され、行動的視点から、encoder が目標を正しく表現する一方で predictor が行動的に無反応であるという構造的乖離を明らかにする。 - この失敗モードは行動を取る前に計画失敗を直接予測し、goal resampling によって out-of-distribution 成功を回復できる。 - さらに、centroid ベースの手法は分布シフト検出器とし…

- 従来の活性化ベースの知識信号と比較して、centroids は行動特性を識別し、内部表現の幾何学を効率的に特徴づける点で補完的である。 - 従来手法では捉えにくい、encoder と predictor の間の構造的乖離（encoder が目標を正しく表現するが predictor が行動的に無反応）を明らかにする。 - この失敗モードを行動前に予測し、goal resampling で out-of-distribution 成功を回復できる点が新しい。 - 分布シフト検出器として、centroid ベースの手法がベースライン手法を上回る性能を示す。

- centroids はサブコンポーネントの Jacobian 行和として定義され、Jacobian vector products を通じて容易に計算される。 - これにより、モデルが入力空間の幾何学をどのように組織化するかを特徴づけ、内部表現への効率的な視点を提供する。 - タスク関連の saliency maps の生成も可能にする。 - JEPA WMs に適用され、encoder と predictor の行動的整合性を監視する。

- 連続制御タスクにおいて JEPA WMs を用いて評価された。 - 行動的視点から、encoder が目標を正しく表現する一方で predictor が行動的に無反応である構造的乖離を明らかにした。 - この失敗モードが行動前に計画失敗を直接予測し、goal resampling によって out-of-distribution 成功を回復できることを示した。 - centroid ベースの手法が分布シフト検出器としてベースライン手法を上回ることを確認した。

- 要旨からは、手法の限界や議論の詳細は不明である。 - ただし、centroids が従来の活性化ベースの信号を補完し、行動監視スタックを提供する点が強調されている。 - 分布シフト下での有効性が示されているが、他のタスクやモデルへの一般化可能性については言及されていない。

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、World Models (Ha & Schmidhuber, 2018) や JEPA (Joint Embedding Predictive Architecture) 関連の論文が挙げられる。 - また、分布シフト検出や saliency maps の手法も関連する。