RoboCousin: 堅牢な両腕ロボット操作のための自作シミュレーションプレイグラウンド

RoboCousinは、ユーザーが提供した観測データ（物体画像など）を、シミュレーションで再利用可能なアセット、シーン、およびバイマニュアル操作のエキスパート軌道に変換する、拡張可能なシミュレーションベースのデータ生成プラットフォームです。RoboTwin 2.0上に構築され、物体画像から視覚・衝突ジオメトリ、意味・物理メタデータ、自動生成された把持接触候補を持つシミュレーション用アセットを生成します。また、タスク関連のアフォーダンスと空間関係を維持しながら、互換性のある物体、背景、レイアウト、言語指示を変化させる「デジタルいとこ」を構築します。テーブルトップおよび部屋レベルのシーン構築をサポートし、固定ワークスペースを超えたインタラクションのための衝突認識ベース制御を備えています。

既存のシミュレーションパイプラインは、閉じたアセットライブラリと事前定義されたシーン内で動作し、新しい物体や環境を追加するには、ジオメトリの再構築、物理的・意味的特性の指定、インタラクションの注釈付け、実行可能なタスクへの統合に多大な労力が必要でした。RoboCousinは、ユーザー提供の観測を直接シミュレーション用アセットとシーンに変換することでこのプロセスを自動化し、手動注釈なしで拡張可能なデータ生成を実現します。さらに、生成されたアセットがシミュレーションから実機への転移に有効であることを示し、単一の再構築シーンでのトレーニングを超えた転移改善を実証しています。

RoboCousinは、物体画像をシミュレーション用アセットに変換するために、視覚ジオメトリと衝突ジオメトリを生成し、意味的・物理的メタデータを付与し、把持接触候補を自動生成します。また、互換性のある物体、背景、レイアウト、言語指示を変化させながらタスク関連のアフォーダンスと空間関係を維持する「デジタルいとこ」を構築します。テーブルトップおよび部屋レベルのシーン構築をサポートし、衝突認識ベース制御により固定ワークスペースを超えたインタラクションを可能にします。

RoboCousin-OBDデータセット（3,000以上の注釈付き物体インスタンスと50の背景環境）をリリースし、50タスクにわたって100万以上のエキスパート軌道を生成しました。シミュレーションと実機実験により、自動生成されたインタラクション注釈が手動注釈と同等であること、生成されたアセットがシミュレーションから実機への転移に有効であること、テーブルトップのいとこが単一の再構築シーンでのトレーニングを超えた転移を改善することを検証しました。

要旨からは、RoboCousinの限界や潜在的な問題についての議論は不明です。ただし、生成されたアセットの品質や、多様なタスクへの一般化、実機での性能などに関する詳細な分析は要旨に含まれていないため、今後の研究で検討される可能性があります。

要旨で参照されているRoboTwin 2.0が関連研究として挙げられます。また、バイマニュアル操作のシミュレーションデータ生成に関する他の研究や、sim-to-real転移の手法も関連します。具体的な論文名は要旨にないため、同分野の定番として、シミュレーション環境（例：Isaac Gym, MuJoCo）やデータ生成手法（例：Domain Randomization）に関する論文が考えられます。