何が起きたか
arXivに投稿された論文(識別番号2608.07895v1)で、視覚言語行動ポリシーの訓練に用いるロボット実演データセットに含まれる「指示-軌道不一致(ITM)」を事後監査する手法が提案された。ITMは行動は正しいが言語指示が誤ってペアリングされたもので、失敗したロールアウトと異なり一見もっともらしく見えるため、ポリシーが学習する言語と行動の対応関係を損なう可能性がある。提案手法は「Multimodal Probabilistic Fusion (MMPF)」と呼ばれ、各モダリティを専門家とみなし、局所的な近傍一致と大域的なプロトタイプ類似度からタスクラベルの分布を推定し、予測エントロピーによる重み付けでモダリティを融合する訓練不要の監査フレームワークである。LIBEROベンチマークに指示不一致を注入したデータとノイズを含む実ロボットデータの両方で、MMPFはITM検出とラベル補正の精度で最も強い総合性能を達成したと報告されている。また、監査は言語によるタスクの曖昧さ解消が必要な設定で、下流のポリシー学習の多くを改善することも示された。実ロボット実験では、フィルタリングとリラベリングのトレードオフを示しつつ、ポリシー性能の向上を実証したとしている。
Key Facts
| ロボット実演データセットには、行動は正しいが言語指示が誤ってペアリングされた「指示-軌道不一致(ITM)」が存在する。 | [0] |
| ITMは失敗したロールアウトと異なり一見もっともらしく見え、ポリシーの言語-行動マッピングを損なう可能性がある。 | [0] |
| 提案手法は「Multimodal Probabilistic Fusion (MMPF)」で、訓練不要の監査フレームワークである。 | [0] |
| MMPFは各モダリティを専門家とみなし、局所的な近傍一致と大域的なプロトタイプ類似度からタスクラベル分布を推定し、予測エントロピー重み付けでモダリティを融合する。 | [0] |
| LIBEROベンチマークに指示不一致を注入したデータとノイズを含む実ロボットデータで、MMPFはITM検出とラベル補正の精度で最も強い総合性能を達成した。 | [0] |
| 監査は言語によるタスクの曖昧さ解消が必要な設定で、下流のポリシー学習の多くを改善することが示された。 | [0] |
| 実ロボット実験では、フィルタリングとリラベリングのトレードオフを示しつつ、ポリシー性能の向上を実証した。 | [0] |
なぜ重要か
視覚言語行動ポリシーの訓練データに潜む指示と軌道の不一致は、ポリシーの言語理解を歪める可能性がある。MMPFは訓練不要で既存データセットを監査・補正できるため、ロボット学習のデータ品質向上に寄与する手法として注目される。