人工ポテンシャル場報酬で実現するサイズ頑健な障害物回避

- 目的は、障害物の大きさや正確な位置が観測できない実環境での、衝突のない reaching 制御の実現。 - 対象は simulated Franka Emika Panda による reaching task で、2本の pillar（固定 nominal layout、random drift）を扱う。 - 障害物 geometry を入力とする reinforcement learning controller は使えない設定（partial observability）を前提とする。 - collision penalty のみの reward では clearance を考慮できず、学習方策が障害物表面をすれすれに通り、訓練時の radius を超えると失敗する問題を扱う。 - 障害物を policy に露出せずに safety margin を誘導できる単一の analytic reward term の可能性を検討する研究。

- 従来の collision penalty のみの reward は、障害物外の clearance に依存しないため、step cost 下で障害物表面をかすめる方策を学習し、radius が訓練値を超えると失敗する。 - 本研究は障害物 geometry を policy に入力せず、reward への analytic term 追加のみで safety margin を誘導する点が異なる。 - hidden observation 下で radius sweep 0.03–0.055 m に対し safe success rate 88% 超を維持し、term なしでは最大 radius で 10% 未満に低下する。 - minimum clearance は 47.9 mm 対 9.6 mm、training collisions の解消も median steps で少なくとも8倍早い。 - 利点は out-of-distribution radii すべてで統計的有意、3種の reinforcement learning solver と full observati…

- simulated Franka Emika Panda の reaching task の reward に、水平方向の artificial potential field を追加する。 - この term は2本の pillar 各々の周囲の safety margin 内への接近を penalize する。 - pillar は固定 nominal layout で random drift を伴う設定。 - policy には障害物を観測させない hidden observation 条件で学習する。 - 単一の analytic reward term により、障害物 geometry を入力せずに clearance を誘導するのが肝。 - margin は radius への適応ではなく固定 buffer であり、その代償として path が約19%長くなる。

- radius sweep 0.03 m から 0.055 m、30 seeds で safe success rate を評価。 - term ありは hidden observation 下で 88% 超、term なしは最大 radius で 10% 未満。 - minimum clearance 47.9 mm（term あり）対 9.6 mm（term なし）を測定。 - training collisions の解消が median steps で少なくとも8倍早いことを確認。 - out-of-distribution radii すべてで統計的有意な優位性を確認。 - 3種の reinforcement learning solver および full observation 下でも成立することを確認。 - pillar 位置を与えた classical potential-field planner と safe success rate を比較。

- margin は radius に適応するものではなく固定 buffer である点が限界として挙げられる。 - その結果 path が約19%長くなるというコストがある。 - 障害物を policy に露出せず reward のみで safety margin を誘導できる点は利点。 - classical potential-field planner と同等の safe success rate だが、planner は pillar 位置情報を必要とする点が条件の違い。 - 他の障害物配置やタスクへの一般化、固定 buffer の調整方法については要旨からは不明。

- 本論文で比較対象となっている classical potential-field planner（pillar 位置を与えた場合）。 - 比較された3種の reinforcement learning solver に関する元論文（具体的名称は要旨からは不明）。 - artificial potential field を reward shaping に用いる関連研究。 - partial observability 下の obstacle avoidance に関する reinforcement learning 研究。 - sim-to-real を意識した Franka Emika Panda の reaching 研究。