日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.20336

AutoRSR: スケーラブルなロボット学習のための自動Real-to-Sim-to-Realデータ生成

AutoRSR: Automated Real-to-Sim-to-Real Data Generation for Scalable Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

実世界の作業空間をスキャンし、自動でシミュレーション環境と操作データを生成するReal-to-Sim-to-Realフレームワークを提案。人手による注釈やキャリブレーション、テレオペレーションを不要にし、実機タスクで高い成功率を達成した。

詳しい要約

1. どんなもの？

- 実世界の作業空間を自動でシミュレーション環境に変換し、ロボット学習用データを生成するフレームワーク AutoRSR を提案。 - 多視点観測、ロボット状態、open-vocabulary な意味クエリを入力とし、作業空間を再構成し物体アセットを抽出、メートルスケールでロボットベース座標系に自動位置合わせする。 - 少数の参照動作から実行可能な操作軌道を生成し、trajectory interpolation と domain randomization で拡張する。 - 作業空間スキャンと意味クエリ以降は、手動の物体アノテーション、シーン-ロボット間キャリブレーション、ロボットテレオペレーションを必要としない。

2. 先行研究と比べてどこがすごい？

- 実世界のデモ収集は人的・時間的コストが高く、シミュレーションはスケーラブルだが実作業空間の変換に手動の物体抽出、アセット処理、座標校正、軌道指定が必要だった。 - AutoRSR はこれらを自動化し、手動アノテーション・キャリブレーション・テレオペレーションを不要にする。 - 3つの実世界操作タスクで、タスクごとに自動生成した1Kエピソードで学習した方策が73.3–86.7%の実世界成功率を達成し、150件の人間テレオペレーションデモで学習した pi 0.5 に匹敵。 - データ生成に必要な人間の時間を桁違いに削減。

3. 技術・手法の肝は？

- 多視点観測、ロボット状態、open-vocabulary 意味クエリから作業空間を再構成。 - 個々の物体アセットを抽出し、再構成シーンをメートルスケールでロボットベース座標系に自動登録。 - 少数の参照動作を起点に実行可能な操作軌道を生成。 - trajectory interpolation と domain randomization により軌道をスケールアップ。 - 作業空間スキャンと意味クエリ後は手動工程なしでパイプラインが進行。

4. どうやって有効だと検証した？

- 3つの実世界操作タスクで評価。 - タスクごとに自動生成した1Kエピソードで学習した方策が、実世界で73.3–86.7%の成功率を達成。 - 150件の人間テレオペレーションデモで学習した pi 0.5 と比較可能な性能。 - データ生成に要する人間の時間を桁違いに削減したことを示す。

5. 議論はある？

- 実世界観測を、メートル整合・実行可能・スケーラブルなシミュレーションデータに変換し、人的労力を大幅に削減できることを示唆。 - 限界や失敗事例、一般化性、他のタスクやロボットへの適用性については要旨からは不明。

6. 次に読むべき論文は？

- pi 0.5（比較対象として言及） - 実世界からシミュレーションへの変換に関する研究（real-to-sim-to-real 系） - domain randomization を用いたロボット学習 - open-vocabulary な物体抽出・意味クエリに基づくシーン再構成 - シミュレーションでの操作軌道生成と trajectory interpolation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawei Zhang, Chang Liu, Litao Deng, Tao Zhang, Qin Jin

分類: cs.RO

原文アブストラクト

Scaling embodied robot learning requires large and diverse manipulation datasets, but collecting real-world demonstrations remains expensive in human effort and robot time. Simulation provides a scalable alternative, yet converting a real workspace into a robot-learning-ready environment still requires substantial manual effort for object extraction, asset processing, coordinate calibration, and trajectory specification. We present AutoRSR, a highly automated real-to-sim-to real framework that converts scanned real-world workspaces into reusable embodied simulation assets and scalable manipulation data. Given multi-view observations, robot states, and open-vocabulary semantic queries, AutoRSR reconstructs the workspace, extracts individual object assets, and automatically registers the reconstructed scene to the robot base frame at metric scale. Starting from a small number of reference motions, AutoRSR then generates executable manipulation trajectories and scales them through trajectory interpolation and domain randomization. After workspace scanning and semantic queries, the remaining pipeline requires no manual object annotation, scene-to-robot calibration, or robot teleoperation. Across three real-world manipulation tasks, policies trained on 1K automatically generated episodes per task achieve 73.3--86.7% real-world success rates, comparable to pi 0.5 trained from 150 human teleoperated demonstrations, while reducing the human time required for data generation by an order of magnitude. These results demonstrate that real-world observations can be converted into metrically aligned, executable, and scalable simulation data with substantially reduced human effort.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI