マルチモーダルロボットデモにおける指示と軌道の不一致の監査

本研究は、ロボットのデモンストレーションデータセットにおいて、動作は正しいが言語指示が誤ってペアリングされている「Instruction-Trajectory Mismatches (ITMs)」を事後的に監査する問題を扱う。ITMsは失敗したロールアウトとは異なり、一見妥当に見えるため、ポリシーの言語と行動のマッピングを損なう可能性がある。提案手法はMultimodal Probabilistic Fusion (MMPF)であり、訓練不要で、各モダリティを専門家とみなし、局所的な近傍一致と大域的なプロトタイプ類似度からタスクラベルの分布を推定し、予測エントロピー重み付けを用いてProduct of Expertsで融合する。

先行研究では、失敗したロールアウトや明らかな不一致に焦点が当てられていたが、ITMsは一見妥当で検出が難しい。MMPFは訓練不要であり、既存の監査手法と異なり、複数モダリティを確率的に融合することで、単一モダリティに依存する手法よりも頑健な検出を実現する。また、ラベル修正とフィルタリングのトレードオフを実ロボット実験で示している点が新しい。

MMPFは各モダリティ（例：言語、視覚、動作）を独立した専門家として扱う。各専門家は、局所的な近傍一致（neighborhood agreement）と大域的なプロトタイプ類似度（prototype similarity）からタスクラベルの分布を推定する。その後、予測エントロピーに基づく重み付けを用いてProduct of Expertsで融合し、最終的なタスクラベル分布を得る。訓練不要で、既存の埋め込み表現を利用する。

LIBEROベンチマークに注入した指示不一致と、ノイズの多い実ロボットデータを用いて評価した。MMPFはITM検出とラベル修正の精度で最良の結果を示した。さらに、監査が下流のポリシー学習を改善することを示し、実ロボット実験ではフィルタリングとリラベリングのトレードオフを実証した。

要旨からは、MMPFの限界や、異なるモダリティの重み付けの感度、実データでのノイズの影響などについての詳細な議論は不明。また、監査が常にポリシー学習を改善するわけではなく、言語がタスクの曖昧さを解消する必要がある設定でのみ改善が見られた点が議論の余地がある。

要旨で参照されている研究は明示されていないが、関連手法として、vision-language-action policies、multimodal learning、anomaly detection in demonstrations、data auditing for robot learningなどが挙げられる。具体的には、LIBEROベンチマークやProduct of Expertsを用いた研究が関連する。