何が起きたか
arXiv掲載の報告は、CoRL 2026 RoboEvalの8つの二腕タスクに対する方策開発を説明した。提出方策はheld-out seedsでRDS 0.990、公式seedsで0.987を記録したと筆者は報告している。筆者は、方策を価値関数としても用いるオフポリシー強化学習と、生成デモおよび失敗からの回復エピソードを組み合わせた。
詳細
競技の評価は、タスクの成否だけでなく、各段階を安全かつ効率的に、両腕を協調させて実行したかを人間のデモと照合する。筆者の汎用手法は、π₀.₅を基にした方策を価値関数としても使い、AWRとRECAPで公式スコアそのものに基づくadvantageを学習するものだ。各rolloutは、約20個の推論パラメーターを対象としたThompson samplingの試行も兼ねる。 筆者によると、この手法を適用した方策は、2日後にheld-out seedsでRDS 0.85に達したが、その時点では収束から遠かった。競技向けには、局所探索では得られない完全報酬到達の生成デモと、方策自身の失敗から始まる回復エピソードを追加し、提出方策のスコアに至ったという。
Key Facts
| CoRL 2026 RoboEval challengeは8つの二腕タスクで構成される。 | [1] |
| 提出方策のRDSはheld-out seedsで0.990、official seedsで0.987と報告された。 | [1] |
| 汎用手法はπ₀.₅を基にした方策を価値関数としても用い、AWRとRECAPを使う。 | [1] |
| 各rolloutは約20個の推論パラメーターに対するThompson samplingの試行も兼ねる。 | [1] |
| held-out seedsでRDS 0.85に達するまで2日かかったと筆者は報告し、その時点で方策は収束から遠かったとしている。 | [1] |
本紙の見方
この報告の要点は、最終スコアの高さだけではなく、競技の採点基準を学習目標に取り込む設計にある。評価はタスクの完了だけでなく、段階ごとの安全性、効率、両腕の協調を人間のデモと照合する。筆者は公式スコアに基づくadvantageを学習に使っており、成功・失敗の二値だけを目標にする構成とは異なる。ただし、報告にあるスコアだけから、各評価項目がどの程度改善したかまでは読み取れない。 もう一つの特徴は、rolloutを方策の更新用データにとどめず、約20個の推論パラメーターをThompson samplingで試す機会にもしている点だ。学習時の試行と推論設定の探索を同じループに置く構成であり、性能調整を別工程に切り離さない設計といえる。一方、各パラメーターの内容や探索結果の内訳は示されていないため、どの設定がスコアに寄与したかは判断できない。 データ面では、局所探索だけでは到達しにくい完全報酬の生成デモと、方策の失敗を起点にした回復エピソードを競技固有の追加要素としている。これは、通常の試行で不足する成功軌跡と、失敗後の復帰軌跡を別々に補う構造だ。二腕タスクでは一連の段階と協調動作が採点対象になるため、最終状態だけでなく途中の実行過程を学習に反映する必要性が、このデータ設計に表れているとみられる。 数値の読み方には留保が要る。RDS 0.85は2日後のheld-out seedsでの値で、筆者自身がその段階では収束から遠いと述べている。提出版の0.990は同じheld-out seeds、0.987は公式seedsでの報告だが、評価のばらつきや試行数、再現条件はこの記載から確認できず、2日後の値との差を単一の追加要素の効果とは断定できない。今後確認すべきなのは、生成デモと回復データの量・作成方法、推論パラメーターの具体的内容、seedごとの分布、実行時の安全性評価である。これらが分かれば、スコアの再現性と、追加データがどの段階の失敗を補ったかをより明確に検証できる。
なぜ重要か
この競技では、タスク完了だけでなく各段階の安全性、効率、両腕の協調が評価対象となるため、成功例だけでなく方策の失敗から始まる回復エピソードも学習に加える設計が重要になる。筆者の報告は、公式スコアを学習目標に用い、推論パラメーターの探索も同じrolloutで行う実装例を示しているが、報告値の再現性や個々の要素の寄与は別途検証が必要だ。