日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
基盤モデルarXiv:2610.31275

非ロボット合成データからロボット行動の事前分布を学習する

Learning Robot Behavior Priors from Non-Robotic Synthetic Data

シェア:XThreadsFacebookLINEはてブBluesky

実機データの代わりに、ロボット制御の数学的抽象を模した手続き生成の合成データでTransformerを事前学習し、未見の実機タスクへゼロショットで行動予測が転移することを示した論文。

詳しい要約

1. どんなもの？

- 本研究は、実ロボットデータを使わずに、非身体性(non-embodied)の合成データからロボット行動のpriorを学習できるかを調べるもの。 - 対象はembodied foundation modelsのzero-shot physical transferを見据えたrobot action prediction。 - 数学的抽象化に基づく3つのデータ生成pipelineを提案し、Transformerのpretraining priorとして用いる。 - 純粋に非ロボットデータで学習したモデルが、未見の実ロボットタスクでin-context learningにより非自明なzero-shot予測性能を示すことを報告。

2. 先行研究と比べてどこがすごい？

- 実ロボットデータを学習のボトルネックとみなす従来の前提に対し、身体性のない合成データでも構造を獲得できる可能性を示す点。 - 汎用的なcausal priorと比較し、ロボット制御をモデル化した特化型control priorが優れることを示す点。 - 実ロボットデータで学習したcompute-matched baselineとも比較し、baselineは学習済みデータセット上でのみ優位という知見を示す点。

3. 技術・手法の肝は？

- ロボット制御の数学的抽象化をモデル化する3つのdata generation pipelineを導入。 - 生成した非ロボット合成データをTransformerのpretraining priorとして使用。 - 評価はrobot action predictionをpretraining objectiveかつ身体性への転移を直接試す課題として実施。 - 転移の機構としてin-context learningを報告。 - 各pipelineの詳細な設計は要旨からは不明。

4. どうやって有効だと検証した？

- 非ロボットデータのみで学習したモデルを、未見の実ロボットタスクでのzero-shot action predictionで評価。 - 汎用causal priorとの比較により、特化型control priorの改善を検証。 - 実ロボットデータで学習したcompute-matched baselineとの比較を実施。 - baselineは学習済みデータセット上でのみ本モデルを上回るという結果。 - 具体的なタスク数・指標・データ規模は要旨からは不明。

5. 議論はある？

- 手続き生成された数学的抽象化が有用なロボットpriorになり得ることを示唆。 - 高コストな身体性データ収集を補完する可能性を議論。 - 実ロボットデータ学習モデルは学習済みデータセット上でのみ優位であり、汎化の観点で議論の余地がある。 - 合成データの限界や実機での性能差の要因は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で直接参照・比較されているのは、実ロボットデータで学習したcompute-matched baselineとgeneric causal priors。 - 関連手法としてembodied foundation models、in-context learning、Transformerベースのrobot action predictionが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mateusz Odrowaz-Sypniewski, Michael Amir, Jasmine Bayrooti, Ajay Shankar, Amanda Prorok

分類: cs.RO, cs.LG

原文アブストラクト

Real robot data, rich across tasks and morphologies, is often treated as the bottleneck for training robot learning models, including embodied foundation models that aim for zero-shot physical transfer. In this paper, we investigate the degree to which such models can acquire necessary structure using data from systems without embodiment. To this end, we test if inexpensive, procedurally generated synthetic data can yield useful priors before a model observes any real-world behavior. We study this through robot action prediction, a natural pretraining objective and a direct test of whether structure learned from arbitrary synthetic tasks transfers to embodied settings. We introduce three data generation pipelines that model mathematical abstractions of robotic control, and use them as pretraining priors for a Transformer. We demonstrate that a model trained purely on this non-robotic data attains non-trivial zero-shot prediction performance on unseen physical robot tasks via an in-context learning mechanism, and that our specialized control priors notably improve upon generic causal priors. We also compare against a compute-matched baseline trained on real robot data, and find that it outperforms our model but only on the datasets it was trained on. These findings suggest that procedurally generated, mathematical abstractions can yield useful robotic priors, offering a potential complement to expensive embodied data collection.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI