DeepInsight II: ベンチマークからロボットへの一つのトレース

DeepInsight IIは、Physical AIスタック全体の評価を統一的に行うための報告書であり、特にembodied層（System 1: navigation/manipulation、System 0: whole-body control）に焦点を当て、ベンチマーク実行から実ロボットでの検証、さらには修復指向の診断までを連続的に扱う。v1の抽象化（task, resource, result）を維持しつつ、定量的証拠を基盤モデル層からembodied層へ拡張する。具体的には、2つのnavigationと4つのmanipulationベンチマークで公開チェックポイントを再現し、MotionBenchで4つのwhole-bodyコントローラを統一プロトコルで評価、さらにSystem 2-1-0の複合研究でトレース局所化を5つのハンドオフラベルに拡張し、物理エピソードで検証する。

先行研究（DeepInsight v1）は基盤モデル層の評価に集中し、embodied層はシミュレーションのケーススタディに留まり、物理実行は範囲外だった。DeepInsight IIは、その基盤を固定しつつ、embodied層の定量的評価を実ロボットの試行まで拡張する点が新しい。特に、シミュレーションと物理ロールアウトが同一の親トレースIDを共有する設計により、sim-to-realギャップをツールチェーン間の調整ではなく、ネイティブな削減として扱える点が優れている。また、修復可能基準と物理エピソードによる診断の検証も新規性が高い。

手法の肝は、評価の連続性を保つための抽象化とトレースIDの共有にある。まず、v1のtask, resource, resultの抽象化を維持し、ベンチマーク固有のプロトコルを尊重しつつ、公開チェックポイントを再現する。MotionBenchでは、4つのwhole-bodyコントローラを同一のワークロードとメトリクス契約の下に置き、並列シミュレーションから実ロボット試行へ移行する際に、シミュレーションと物理ロールアウトが親トレースIDを共有し、実行ドメイン固有の記録を保持する。これにより、sim-to-realギャップを直接比較可能にする。さらに、System 2-1-0研究では、トレース局所化を5つの証拠に基づくハンドオフラベルに拡張し、各ラベルを具体的な修復アクションにマッピングし、修復可能基準を測定する。

有効性の検証は、複数のベンチマークと実ロボット試行を通じて行われる。まず、2つのnavigationと4つのmanipulationベンチマークで、公開チェックポイントの参照結果をネイティブプロトコルで再現する。次に、MotionBenchで4つのwhole-bodyコントローラを統一契約で評価し、そのうちの適合するファミリーを並列シミュレーションから実ロボット試行に移行し、物理エピソードで同一のトレースIDを用いて検証する。さらに、System 2-1-0研究では、5つのハンドオフラベルを物理エピソードでテストし、ハードウェア観測可能な状態で同じ帰属を検証する。

要旨からは、議論の余地として、評価の連続性を保つための抽象化が、ベンチマーク固有のプロトコルと衝突する可能性や、実ロボット試行の規模が限定的であること、また、修復アクションの具体的な効果がどの程度実用的かについては言及がない。さらに、sim-to-realギャップの削減が、トレースID共有によってどの程度正確に測定できるかについての限界も議論されうるが、要旨では詳細は不明。

要旨で参照されている先行研究はDeepInsight v1であり、また、関連手法としてMotionBenchやSystem 2-1-0の概念が挙げられる。次に読むべき論文としては、DeepInsight v1の報告書、および、ベンチマーク評価やsim-to-real転移に関する標準的な研究（例: domain randomization, sim-to-real transfer）が考えられるが、要旨からは具体的な論文名は不明。