研究チーム、行動の連続的な変化を学習する「ODE Policy」を提案

何が起きたか

2026年11月1日掲載の論文で、研究チームは行動そのものではなく行動の力学を学習する「ODE policy」を提案した。模倣学習（IL）と強化学習（RL）で評価し、実ロボットの14タスクでは、単腕・双腕・器用操作・ヒューマノイドの各ロボットを対象に最高の成功率を達成したと報告した。

詳細

ODE policyは、ニューラル常微分方程式（ODE）で行動のベクトル場を学習する。ILでは短い行動チャンク、RLでは単一の制御ステップについて、積分した行動を目標に合わせる。軽量な多様性ヘッドはベクトル場の方向をランダム化して複数の行動様式を扱い、実行時には前の行動から積分することで、軌道が連続する構成とした。 論文は、視覚運動方策、視覚言語行動（VLA）モデルと世界行動モデル（WAM）の行動ヘッド、モデルベース強化学習のアクターとして評価し、片手・両手・器用操作・移動・移動と操作を組み合わせたタスクで14のベースラインと比較した。ILではflow matchingに対し、1エポック後の成功率が5.9倍、汎化性能が5.4倍、行動モードの均衡が3.9倍となり、行動生成は10.8倍速かったと報告した。人間の実演より滑らかな動きが多かったとも述べている。RLでは、ヒューマノイドの動作追跡におけるSuperMimicを高速化し、行動を滑らかにしたとしている。

Key Facts

本紙の見方

この研究の焦点は、制御器が各時点で出す行動値ではなく、行動がどう変化するかを学習対象に置いた点にある。実行時に前の行動から積分し、軌道の連続性を構成上確保するという設計は、離散的な出力を並べる方策と異なる。一方、連続であること自体は、障害物回避や接触時の安全性を保証するものではない。論文が報告する「滑らかさ」と安全性能は分けて読む必要がある。 評価結果では、flow matchingとの比較で1エポック後の成功率が5.9倍、汎化性能が5.4倍、モード均衡が3.9倍となり、行動生成も10.8倍速かった。これらは学習の初期段階と特定の比較手法に基づく数値であり、あらゆる方策や学習条件に対する優位性を示すものではない。とくに、モード均衡の改善は、多様な行動を出す必要がある課題で意味を持ち得るが、実運用で必要な動作の多様性や選択の適切さと、評価指標がどの程度対応するかが読み解きの要点となる。 また、同じ行動ヘッドを視覚運動方策、VLA、WAM、モデルベースRLに適用し、実ロボット14タスクでも評価したという構成は、単一の学習枠組みに限定しない設計を示す。ただし、各枠組みでどの程度共通の学習条件を使ったか、タスクごとの成績差がどうだったかは、要旨の情報だけでは判断できない。評価対象のロボットやタスクの内訳、成功率の定義、推論速度の測定条件、実機での長時間稼働や安全性も、適用範囲を判断するうえで確認すべき点だ。結果の倍率をそのまま実機導入の効果とみなさず、比較条件とタスク別の再現性を追う必要がある。

なぜ重要か

行動を積分して連続軌道を構成する設計は、離散的な行動出力の連なりを扱うロボット方策に対する別の実装方法となる。著者らは、flow matchingとの比較結果に加え、実ロボット14タスクで最高の成功率を得たと報告しており、適用範囲を評価する際はタスク別の条件と実機での再現性が焦点となる。