SafeBranch: 身体化エージェントのための分岐ペア安全性アライメント

SafeBranchは、Vision-Language Model (VLM)ベースのembodied agentの安全性を向上させるためのフレームワークです。エージェントがタスクを実行中に安全制約を違反する問題（interactive safety）に対処します。具体的には、エージェント自身の安全でないロールアウトを環境ロールバックを用いて安全違反の原因となったステップまで巻き戻し、そのステップで安全な代替行動をクエリし、元の行動と代替行動をペアにしたbranch pairを構築して、安全性に特化したアライメントを行います。これにより、推論時にcriticを必要とせず、安全な行動を取れるようにします。

従来の手法では、安全な軌道の模倣や、任意の安全/不安全軌道の対比学習が行われていましたが、これらは安全性の理由を説明せず、または安全性信号と無関係な差異を混在させる問題がありました。SafeBranchは、branch pairを構築することで、安全性に関わるステップのみに差異を限定し、安全性信号を明確に分離します。これにより、安全性とタスク成功という異なる目的を効果的に扱い、標準的な教師あり学習よりも優れた安全性アライメントを実現します。

SafeBranchの手法の核心は、branch pairの構築にあります。まず、エージェントの不安全なロールアウトを実行し、環境ロールバックを用いて安全違反が発生したcritical stepまで巻き戻します。次に、そのステップでエージェントに安全な代替行動をクエリし、元の行動と代替行動をペアにします。このペアは、そのステップでのみ異なるため、安全性の信号が明確になります。このbranch pairを用いて、エージェントをアライメント（学習）します。推論時には、criticなしで安全な行動を選択できます。

IS-Bench、SafetyALFRED、および未見のタスクやオブジェクトを含むout-of-distribution (OOD)バリアントで評価しました。その結果、タスク成功率を犠牲にすることなく安全性を確保でき、特に未見オブジェクトのバリアントでは、未学習のベースラインと比較して約10倍の安全な成功を達成しました。

要旨からは、SafeBranchの限界や議論についての詳細は不明です。ただし、branch pairの構築には環境ロールバックが必要であり、現実の物理環境では適用が難しい可能性が考えられます。また、安全な代替行動のクエリ方法や、複数の安全違反がある場合の扱いなど、実装上の課題が推測されますが、要旨には明記されていません。

要旨で参照されている研究は明示されていませんが、関連する分野として、VLM-based embodied agents、interactive safety、safe reinforcement learning、およびtrajectory alignmentの研究が挙げられます。具体的には、SafetyALFREDやIS-Benchのベースラインとなった研究、また安全な行動生成のためのcritic-based手法や、人間のフィードバックを用いたアライメント手法（例: RLHF）などが関連します。