MARS-RA: マルチモーダル比較による具現化マルチエージェント協調におけるクレジット割り当てのためのランク集約
MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation
協調マルチエージェント強化学習におけるクレジット割り当て問題を、大規模マルチモーダルモデルによるエージェント間のペア比較を用いたランク集約問題として再定式化し、ノイズや動的なエージェント参加に頑健な報酬整形手法を提案した。
著者: Dawei Wang, Di Zhao, Xinyuan Liu, Marci Chi Ma, Xiaoyang Liu, Chengming Zhou, Gary Ushaw, Richard Davison
分類: cs.AI
原文アブストラクト
Credit assignment is a fundamental challenge in cooperative multi-agent reinforcement learning, particularly in embodied AI settings characterized by limited and delayed feedback as well as dynamically changing numbers of active agents. We propose MARS-RA, a framework that reformulates credit assignment as a rank aggregation problem using contribution-based pairwise comparisons among agents generated by large multimodal models. This shift from absolute to relative estimation ensures robustness against noise and dynamic agent participation, converting comparison results into contribution scores for potential-based reward shaping. We provide theoretical justification for the convergence and robustness of the proposed framework, and show that Shapley values can be used as an interpretive reference. Experimental results on challenging tasks of different types indicate that MARS-RA can guide agents toward effective cooperation.
関連論文
- マルチエージェントデモから暗黙の因果世界モデルを学習するマルチエージェント強化学習
- Dreamer-CPC: 世界モデルを用いたメッセージ学習による分散型マルチエージェント強化学習マルチエージェント強化学習