ポリシー学習2026/8/16arXiv:2608.15748v1

二つのアクションヘッドを一致させる：フローマッチングポリシーのための協調メカニズムと実行時崩壊証明

Making two action heads agree: coordination mechanisms and a runtime collapse certificate for flow-matching policies

フローマッチングポリシーにおいて、関節空間とエンドエフェクタ空間の二つのデコード結果の残差を実行時信号として用いる際、マルチモーダルタスクでの誤警報を避けるための協調メカニズムを研究し、理論的な証明と実験的評価を行った。

詳しい要約

1. どんなもの？

本論文は、フローマッチングに基づく二重表現ポリシー（dual-representation flow-matching policy）において、関節空間とエンドエフェクタ空間の2つのアクションヘッド（action heads）の出力を調整（coordination）するメカニズムを研究し、実行時に物理的解釈可能な残差信号（residual）を提供する。さらに、誤警報（false alarms）を引き起こすマルチモーダルタスクでの分岐の不一致を扱い、調整メカニズムの分類と理論的保証を提供する。

2. 先行研究と比べてどこがすごい？

先行研究では、二重表現ポリシーの残差が実行時信号として有効であることが示されていたが、マルチモーダルタスクでの独立サンプリングによる誤警報の問題が未解決だった。本研究は、2つの分岐を調整するメカニズムを体系的に分類し、理論的に証明された行き止まり（dead end）や、調整と崩壊（collapse）を分離するラベルなし証明書（label-free certificate）を提供する点で新しい。

3. 技術・手法の肝は？

手法の肝は、2つの分岐を調整するためのメカニズムを4つのクラスに分類し、それぞれの効果を理論的・実験的に分析すること。具体的には、共有潜在変数（auxiliary latent）、ソースノイズ共有（sharing source noise）、一貫性正則化（consistency regularization）、訓練支援離散分割（training-supported discrete partitions）を検討する。さらに、各分岐のGini-Simpson多様性に基づくチャンス補正調整境界（chance-corrected coordination bound）を導出し、ゼロ不一致が曖昧な場合に調整と崩壊を分離する証明書を提供する。

4. どうやって有効だと検証した？

2つのロボット環境と非ロボットテストベッドで実験を行い、調整メカニズムの効果を検証した。特に、LIBERO-Plusでは、良性のマルチモダリティが残差に1.57パーセントポイントの誤警報を追加することを示し、残差が最も強い失敗信号であることを確認した。また、事前登録されたトークン介入（token intervention）は誤警報基準を満たさず、シードロバストな検出変化も生じなかった。

5. 議論はある？

議論として、共有潜在変数は集団最適で消去され、2%の等価帯域内で証明可能な行き止まりであることが示された。ソースノイズ共有は表現マップに応じて調整または反調整の効果が変わり、デコーダのモード盆地の整列に依存する。一貫性正則化は中間的な調整を提供するが、有効ペア率を低下させる。訓練支援離散分割はほぼ天井の調整を堅牢に達成する。また、チャンス補正調整境界は、ゼロ不一致が曖昧な場合に調整と崩壊を分離する証明書を提供する。

6. 次に読むべき論文は？

要旨からは、次に読むべき論文として具体的なタイトルは挙げられていないが、関連する研究として、フローマッチングポリシー（flow-matching policies）、二重表現ポリシー、マルチモーダルポリシー学習、実行時モニタリング、および調整メカニズムに関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinhui Sun, Wei Zhou, Bowen Yang, Xinliang Xiao, Li Yang

分類: cs.RO

原文アブストラクト

A dual-representation flow-matching policy decodes each predicted motion into joint and end-effector spaces, and the residual between the two kinematically equivalent decodings provides a physically interpretable runtime signal. On multimodal tasks, however, independently sampled branches may choose different valid modes, causing false alarms. We study how to coordinate the two branches and at what cost. Across two robot environments and a non-robotic testbed, the tested mechanisms fall into four classes. An auxiliary latent shared by both branches but absent from the flow-matching construction is erased at the population optimum, a provable dead end confirmed within a prespecified 2% equivalence band. Sharing source noise can coordinate or anti-coordinate: its effect changes sign with the representation map and tracks the alignment of decoder mode basins. Consistency regularization gives intermediate coordination but reduces the valid-pair rate, while training-supported discrete partitions achieve near-ceiling coordination robustly. We further derive a chance-corrected coordination bound based only on each branch's Gini-Simpson diversity, yielding an attainable region and a label-free certificate that separates coordination from collapse when zero mismatch is ambiguous. On LIBERO-Plus, benign multimodality adds 1.57 percentage points of false alarms to the residual, which remains the strongest evaluated failure signal; the preregistered token intervention does not meet its false-alarm criterion or produce a seed-robust detection change. Code, models, and per-run configurations are available at https://github.com/kimo423/dual-head-coordination.

arXivで原文を読む →arXiv概要ページ

← 論文一覧