単一動画からドア開閉を再現するロボット制御フレームワーク、成功率96.57%を達成

何が起きたか

研究チームは2026年8月20日、車輪付き脚式モバイルマニピュレータ向けの単一動画ベースのreal-to-sim-to-realフレームワーク「Video2DoorTraversal」を発表した。実5ドアで平均成功率96.57%、構造的に類似した未見ドアで80.95%のゼロショット成功率を達成し、接近・開閉・通過の一連の動作を平均約13秒で完了する。

詳細

フレームワークは、DoorTwinが単一RGB動画から実ドアとインスタンス整合する関節付きシミュレーション用ドア双子を再構成する。シミュレーション内エージェントが関節情報をパラメータ化されたスキルプログラムに変換し、失敗ロールアウトを反復的に改善して物理実行可能なデモを生成する。これらのデモで訓練されるArticuACTは、ロボット中心のカメラ条件付けと相互作用認識の監視を用いて、ベース・アーム・グリッパーの協調コマンドを予測するデュアル深度ポリシーである。すべての認識とポリシー推論はオンボードで実行される。

Key Facts

本紙の見方

本フレームワークの新規性は、単一動画から実ドアの双子モデルを再構成し、シミュレーション内で動作を学習する点にある。従来のsim-to-real転移では、シミュレーション環境の構築に多くの手作業や3Dモデルが必要だったが、DoorTwinは単一RGB動画からインスタンス整合する関節付きドア双子を自動生成する。これにより、実環境の多様なドアに対して迅速にシミュレーション環境を構築できる可能性がある。 また、シミュレーション内エージェントが失敗ロールアウトを反復的に改善してデモを生成する手法は、実機での試行錯誤を減らし、安全に学習データを増やす点で有効だ。ArticuACTはデュアル深度ポリシーでベース・アーム・グリッパーを協調制御し、ロボット中心のカメラ条件付けを用いることで、実環境での汎化を狙う。 業界構造への含意として、このようなフレームワークは、ロボットの長期的な操作タスク（ドア開閉など）の自動化を進める一方で、シミュレーション環境の構築コストを削減する可能性がある。特に、物流や介護など多様な環境で活動するモバイルマニピュレータの実用化に寄与するだろう。 未確定の論点としては、実環境での成功率が報告されているが、ドアの種類や環境条件の範囲が限定的であること、また、シミュレーションから実機への転移におけるドメインギャップがどの程度影響するかが挙げられる。さらに、フレームワークの計算コストやリアルタイム性についての詳細は不明であり、今後の検証が待たれる。

なぜ重要か

この研究は、単一動画からシミュレーション環境を自動構築し、ロボットの長期的な操作タスクを学習する手法を示しており、実環境でのロボット導入コストを低減する可能性がある。特に、ドア開閉のような日常的なタスクの自動化は、サービスロボットや物流ロボットの実用化に寄与する。