断続的な視覚喪失に頑健な実ロボットマニピュレーションのための標的モダリティドロップアウト

- 本論文は、模倣学習ポリシーが訓練時に視覚などの支配的なモダリティに過度に依存し、推論時にそのモダリティが失われると実行が破綻する問題に対処する。 - 提案手法はTargeted Modality Dropout (TMD)で、attentionを用いて各モダリティへの依存度を推定し、最も支配的なモダリティを選択的にドロップアウトする。 - さらに依存度分布に対するentropy regularizationを組み合わせる。 - 双腕マニピュレータによる実ロボット評価で、視覚喪失下でもタスク実行を維持できることを示す。

- 従来のdropoutはランダムにモダリティを選択するため、entropy regularizationなしでは視覚喪失がない場合でも多くのタスクで失敗する。 - 一方、TMDはattentionで依存度を推定し支配的モダリティを狙ってドロップするため、視覚喪失時にも成功率を維持する。 - ベースラインポリシーは視覚喪失で成功率が大幅に低下するのに対し、TMDはタスク実行を持続する点が優れている。

- 各モダリティへの依存度をattentionで推定する。 - 最も支配的なモダリティを選択的にドロップアウトする。 - 依存度分布にentropy regularizationを適用する。 - これにより、特定モダリティへの過度な依存を防ぎ、モダリティ欠損に対するロバスト性を高める。

- 双腕マニピュレータを用いた実ロボット評価を実施。 - 視覚喪失条件下で、ベースラインポリシーの成功率が大幅に低下する一方、TMDはタスク実行を維持することを示した。 - また、ランダムにドロップする従来のdropout（entropy regularizationなし）は、視覚喪失がない場合でも多くのタスクで失敗することを確認。

- 要旨からは、TMDの限界や適用範囲、他のモダリティ欠損への一般化、計算コストなどの議論は明示されていない。 - 従来のdropoutがentropy regularizationなしで失敗する点は示唆されているが、その理由の詳細な分析は要旨からは不明。

- 要旨で参照/比較されている研究：conventional dropout（ランダムにモダリティを選択するdropout）、entropy regularization、attention-based modality dependence estimation。 - 関連手法：imitation learning policies integrating multiple sensory modalities。 - 同分野の定番：multimodal imitation learning, modality dropout, robust policy learning under sensory failure。