arXiv論文「RFPO」が公開　Unitree Go2で1ステップ実行を検証

何が起きたか

arXivは2026年10月7日、身体性制御向けの論文「RFPO: Rectified Flow Policy Optimization for Embodied Control」を掲載した。論文は、流れベース方策の反復ODE積分が推論コストを押し上げる一方、積分回数を減らすと制御品質が落ちやすい点を課題に挙げる。著者らは、1ステップのEuler法で実行する単一のflow studentでも、64ステップ実行時に近い性能を保つ枠組みを提案したとしている。

詳細

論文はRFPOを、少ない積分回数での実行に耐えるよう方策を整える最適化枠組みと説明している。具体的には、オンポリシー学習中にreward-aware online Reflowで学生側が生む輸送経路を修正し、凍結したGaussian PPOコントローラが全積分予算および中間積分予算で補助的な行動空間監督を与える構成だとしている。実運用時の方策は、1回のEulerステップで動く単一のflow studentになる。 評価対象はUnitree Go2、Boston Dynamics Spot、Unitree H1、Unitree G1で、1ステップ実行時のリターンは対応する64ステップ値の2.4%以内に収まったとしている。Unitree Go2では、1ステップ実行で64ステップ報酬の98.5%を保ちつつ、オンボードの平均推論遅延を4.39msから0.08msへ短縮し、54.9倍の高速化を達成したとする。実機実験でも安定した1ステップ歩行を確認したとしている。

Key Facts

本紙の見方

今回の論文の新しさは、ロボット制御の性能向上そのものではなく、流れベース方策の「少ない積分回数でも崩れにくい」ように学習段階から合わせ込んでいる点にある。従来のflow policyは表現力が高い一方で、反復ODE積分に依存するため推論が重くなる。RFPOはこの計算負担を1ステップ実行に落とし込みつつ、性能劣化を抑える設計を前面に出している。これは、精度と速度の両立を後処理の圧縮ではなく、最適化の段階で扱っている点が特徴である。 本紙の見方では、この論文は「ロボットを動かす制御器」を学習モデルとして見たときの実装制約を正面から扱ったものだといえる。評価対象にUnitree Go2、Unitree H1、Unitree G1、Boston Dynamics Spotを並べたことは、単一機体向けの局所的な工夫ではなく、複数機種にまたがる一般化可能性を示そうとした構図である。ただし、論文が示すのは実験条件下での性能であり、現場導入で重要な電力消費、障害物環境、動的接触、長時間稼働といった条件は別途確認が必要だ。ここが、研究評価と実装評価の差分になる。 業界構造への含意は、制御モデルの競争軸が「どれだけ賢いか」から「どれだけ少ない計算で同等に動けるか」へ寄りつつある点にある。特に、オンボード推論を4.39msから0.08msへ下げたという結果は、ロボット本体側の計算資源配分、バッテリー制約、リアルタイム制御ループの設計に直接触れる。学習時にGaussian PPOを補助教師として使う構成も、実機展開では単なる推論モデルだけでなく、学習とデプロイの間をどう設計するかが論点になることを示している。今後は、1ステップ化でどの程度まで行動空間が保たれるのか、別機体・別タスクで同じ改善率が再現するのか、実機の安全性を含めて確認される必要がある。

なぜ重要か

arXiv掲載の論文が示すのは、ロボット制御で推論遅延を4.39msから0.08msへ下げつつ、Unitree Go2で64ステップ報酬の98.5%を保てる可能性である。高頻度制御を要する機体では、学習済みモデルの精度だけでなく、オンボードでの実行回数を減らしても破綻しない設計が実装条件になる。

日本への影響

日本のロボット制御や組み込み計算では、低遅延推論と実機安定性の両立が焦点になるとみられる。今回の論文のように1ステップ実行まで落とす設計が広がる場合、車載・産業用と同様に、ロボット本体の計算資源配分とリアルタイム制御の設計が競争力の差になりやすい。