何が起きたか
RTPolicyの論文が2026年10月30日に公開された。複数視点の情報を圧縮して行動生成に用いるポリシーを提案し、RoboTwin 2.0の単一タスク・クリーン評価50タスクで平均成功率52.26％を報告した。論文が最も強いリーダーボード基準とするπ₀の成功率は46.4％だった。
詳細
RTPolicyは、視点を考慮した特徴融合と視覚情報の圧縮により、複数カメラの相補的な情報をコンパクトなトークン表現にまとめる。この表現とロボット状態、フロー時刻を条件として、フローマッチング方式の行動生成器を動かす設計だ。 非同期ストリーミング推論を用いた実機の両腕プラットフォームでは、平均成功率72.0％を報告した。推論速度はINT16で、RDK S600上が30.35ミリ秒（32.9 Hz）、RDK S100上が149.72ミリ秒（6.7 Hz）だった。
Key Facts
| RoboTwin 2.0の単一タスク・クリーン評価50タスクで、RTPolicyの平均成功率は52.26％。論文が最も強いリーダーボード基準とするπ₀は46.4％だった。 | [1] |
| 実機の両腕プラットフォームでの平均成功率は72.0％だった。 | [1] |
| INT16での推論速度は、RDK S600上で30.35ミリ秒（32.9 Hz）、RDK S100上で149.72ミリ秒（6.7 Hz）だった。 | [1] |
| 設計は、視点を考慮した特徴融合と視覚圧縮で複数視点をコンパクトなトークン表現にまとめ、ロボット状態とフロー時刻を用いるフローマッチング行動生成器に入力する。 | [1] |
本紙の見方
この研究の軸は、視覚情報を複数視点から集める処理と、その後の行動生成を軽くし、エッジ機器上で閉ループ操作に使える推論速度を目指す設計にある。論文は、視点を考慮した特徴融合と視覚圧縮を組み合わせ、必要な視覚情報を保ちながら計算コストを下げると説明する。したがって新しさは、単に成功率を競うだけでなく、推論遅延が操作の修正頻度を制約するという課題に、表現の圧縮と行動生成の両面から取り組んだ点にある。 結果は、シミュレーションと実機を分けて読む必要がある。RoboTwin 2.0の50タスクでの52.26％は、同じ評価条件でのπ₀の46.4％との比較である。一方、72.0％は非同期ストリーミング推論を用いた実機の両腕プラットフォームでの平均成功率だ。環境と評価条件が異なるため、この二つの成功率を並べて性能の優劣を判断することはできない。実機の速度も、RDK S600とRDK S100で30.35ミリ秒と149.72ミリ秒に分かれており、RTPolicyの実用性を考える際には、ポリシーの構造だけでなく実行機器が重要な条件になる。 エッジ実装を想定する開発者にとっては、カメラ情報の統合をコンパクトな表現に変え、ロボット状態とともに行動生成へ渡す構成が検討材料となる。ただし、論文要旨に示された数値だけでは、推論遅延のばらつきや長時間運転時の成功率、消費電力、タスクごとの成績は判断できない。次に確認すべきなのは、50タスク以外への適用範囲、実機評価のタスク数と条件、各機器での稼働時の安定性である。特に、非同期推論で行動チャンクを更新する際に、遅延と操作誤差がどのように変化するかは、閉ループ制御への適用を評価するうえで残る論点だ。
なぜ重要か
論文の評価では、RoboTwin 2.0の50タスクにおける成功率と、両腕実機での成功率・推論速度がそれぞれ示された。エッジ機器上で複数視点の視覚処理と行動生成を行うロボット開発では、成功率だけでなく、使用する機器ごとの推論速度も適用条件になる。