日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2609.20477

幾何変動下におけるロボット挿入の視覚的sim-to-real学習：鉄筋設置への応用

Visual Sim-to-Real Learning for Robotic Insertion under Geometric Variations: Application to Rebar Installation

シェア:XThreadsFacebookLINEはてブBluesky

鉄筋挿入タスクを対象に、手続き的生成とドメインランダム化を用いた視覚ベースのsim-to-real学習システムを構築し、実機で91.3%の成功率を達成した。

詳しい要約

1. どんなもの？

- 建設現場の鉄筋挿入(rebar insertion)を対象とした視覚ベースのsim-to-realシステム「RebarSim」 - 1.4 mmのクリアランスで接触が支配的な挿入タスクを扱う - 部品は構造部材ごとの公称設計と、その周りの製作公差の2段階で変動する - 設計やバッチが変わると実世界データを再収集する必要がある問題に対処 - シミュレーションのみで訓練し、実世界へzero-shot転移する - 実工場の生産ロットから採取した鉄筋を91.3%の実機ロールアウトで挿入成功

2. 先行研究と比べてどこがすごい？

- 実世界データの再収集を要する従来の実データ依存アプローチと異なり、完全にシミュレーションで訓練 - 単一設計のスペシャリストより、多様な公称設計で訓練した学生がそのスペシャリスト自身の設計でも優れる - 幾何多様性とpretrainingの両方がzero-shot成功を向上させることを示す - 事前学習済み学生は新設計へ4--6倍少ない蒸留サンプルで適応可能 - 外観ランダム化とDAgger mixtureの両方が視覚sim-to-real転移に不可欠であることを示す

3. 技術・手法の肝は？

- 手続き的に生成した鉄筋幾何上で、特権的な状態ベース教師を強化学習で訓練 - 教師を多視点学生へ蒸留し、生のRGBとproprioceptionから直接行動へ写像 - 広範なdomain randomizationを適用 - 外観ランダム化とDAgger mixtureを組み合わせて視覚sim-to-real転移を実現 - 多様な公称設計での訓練とpretrainingを活用

4. どうやって有効だと検証した？

- 実工場の生産ロットから採取した鉄筋を用いた実機ロールアウトで91.3%のzero-shot成功 - 多様な公称設計での訓練が未見設計でのzero-shot成功を教師・学生ともに向上させることを確認 - 学生が単一設計スペシャリストの設計でもそれを上回ることを確認 - 事前学習済み学生が新設計へ4--6倍少ない蒸留サンプルで適応することを確認 - 外観ランダム化またはDAgger mixtureを除くと成功が急落することを確認

5. 議論はある？

- 幾何多様性とpretrainingがzero-shot性能に寄与する - 視覚sim-to-real転移には外観ランダム化とDAgger mixtureの両方が必要 - 設計・バッチ変更に伴う実世界データ再収集問題をシミュレーション訓練で緩和 - 要旨からは不明: 失敗モードの詳細、計算コスト、他タスクへの一般化可能性

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 明示的な論文名の記載なし - 関連手法: reinforcement learning、privileged state-based teacher、distillation、multi-view student、domain randomization、DAgger - 同分野の定番: sim-to-real transfer、visual servoing、contact-rich manipulation、assembly insertion

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tao Sun, Beining Han, Patrick Yin, Rui Xu, Harry He, Abhishek Gupta, Szymon Rusinkiewicz, Yi Shao

分類: cs.RO

原文アブストラクト

Rebar insertion is among the most repetitive and physically demanding tasks on construction sites, and a contact-rich problem at 1.4 mm clearance. The parts, however, vary at two levels: a nominal design per structural member, and fabrication tolerance around each nominal design. Real-world data therefore has to be re-collected as designs and batches change. We present RebarSim, a visual sim-to-real system trained entirely in simulation. A privileged state-based teacher is trained with reinforcement learning over procedurally generated rebar geometries, then distilled into a multi-view student that maps raw RGB and proprioception directly to actions under extensive domain randomization. The student transfers to the real world zero-shot, seating rebars taken from a real factory production run in 91.3% of real-robot rollouts. Underlying that result, geometry diversity and pretraining both bring benefits. Training across a diverse set of nominal designs rather than one lifts the zero-shot success of both the teacher and the student on unseen designs, and the student policy outperforms a single-design specialist on that specialist's own design. A pretrained student then adapts to a new design with 4--6x fewer distillation samples than one trained from scratch. Visual sim-to-real transfer depends on appearance randomization and the DAgger mixture: removing either one sharply lowers success. Videos, code, and task assets are available at https://rebarsim.github.io.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI