ビデオからドア通過へ：シミュレートされたドア双子による押しドア通過

Video2DoorTraversalは、単一のRGBビデオから実世界のドアを模したシミュレーション環境を構築し、その中で学習したポリシーを実機の車輪付き移動マニピュレータに適用することで、ドアの押し開けと通過を実現するフレームワークである。DoorTwinと呼ばれるモジュールが、ビデオからドアの関節構造と外観を再現したシミュレーション用ドアツインを生成し、シミュレーション内でパラメータ化されたスキルプログラムを反復的に改良して実用的なデモンストレーションを生成する。その後、ArticuACTと呼ばれるデュアル深度ポリシーが、ロボット中心のカメラ条件付けと相互作用認識の監視を用いて、ベース、アーム、グリッパの協調動作を学習する。すべての認識とポリシー推論はオンボードで実行され、5つの実ドアで平均成功率96.57%、未見の類似ドアに対してゼロショット成功率80.95%を達成し、接近から通過まで約13秒で完了する。

従来のドア開閉研究は、特定のドアやハンドルに特化したモデルや、シミュレーションから実機への転送に大規模なデータ収集を必要とすることが多かった。Video2DoorTraversalは、単一のRGBビデオからドアのインスタンスに合わせた関節付きシミュレーションモデルを自動生成する点で、従来の手動モデリングや汎用モデルに依存する手法と一線を画す。また、シミュレーション内でスキルプログラムを反復改良することで、実機での試行錯誤を減らし、ゼロショット転送を可能にしている。さらに、デュアル深度カメラを用いたロボット中心の条件付けと相互作用認識の監視により、ベースとアームの協調制御を実現している点が新しい。

手法の核は3つの要素からなる。1) DoorTwin: 単一RGBビデオからドアの関節構造（ヒンジ位置や開閉方向）と外観を推定し、シミュレーション用のインスタンス整合されたドアツインを生成する。2) シミュレーション内ループエージェント: ドアの関節情報をパラメータ化されたスキルプログラムに変換し、失敗したロールアウトを反復的に改良して物理的に実行可能なデモンストレーションを生成する。3) ArticuACT: ロボット中心のカメラ条件付け（デュアル深度カメラ）と相互作用認識の監視（例: ハンドルとグリッパの接触）を用いて、ベース、アーム、グリッパの協調コマンドを予測するポリシー。これにより、実機での認識と推論をオンボードで完結させる。

有効性は、5つの実ドアでの実験と、構造的に類似した未見のドアでのゼロショット転送実験によって検証された。具体的には、5つの実ドアで平均成功率96.57%を達成し、未見のドアでは80.95%の成功率を記録した。また、接近、開扉、通過の一連の動作を平均約13秒で完了できることを示した。さらに、プロジェクトページでデモ動画や詳細な結果を公開している。

要旨からは、議論の余地として、未見のドアに対するゼロショット成功率が80.95%と、既知のドアに比べて低下している点が挙げられる。また、構造的に類似したドアに限定されているため、多様なドア形状やハンドルタイプへの一般化には限界がある可能性が示唆される。さらに、シミュレーション環境の忠実度や、実機とのギャップ（sim-to-real gap）が性能に影響を与える可能性についての詳細な分析は要旨からは不明である。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、ドア開けタスクにおける強化学習を用いた研究（例: 'Door Opening'に関するシミュレーションから実機への転送研究）や、移動マニピュレーションのベース・アーム協調制御に関する研究が挙げられる。具体的には、'Sim-to-Real Transfer for Robotic Manipulation'や'Whole-Body Control for Mobile Manipulators'などの論文が関連する。