日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
模倣学習arXiv:2610.37170

低コストアームで模倣学習ポリシーを比較:12から200デモへのスケーリング

From 12 to 200 Demonstrations: How ACT, Diffusion Policy, SmolVLA and $π_{0.5}$ Scale on a Low-Cost Arm

シェア:XThreadsFacebookLINEはてブBluesky

ACT・Diffusion Policy・SmolVLA・π0.5を低コストSO-101アームで12〜200のデモ数で訓練し、成功率や失敗段階の変化を比較評価した。

詳しい要約

1. どんなもの?

- 低コストロボットアーム SO-101 上で、4つの模倣学習ポリシー(ACT、Diffusion Policy、SmolVLA、$π_{0.5}$)のデータ量スケーリングを比較した実証研究。 - 単一の pick-and-place タスク(distractor objects あり)を対象に、12/25/50/100/200 の入れ子状デモンストレーション部分集合で学習。 - 各ポリシーにつき1つの固定 training recipe を使用。 - 学習済みモデルを物理 SO-101 上で固定配置セットに対し評価(126ブロック、1,340 スコア付きエピソード)。

2. 先行研究と比べてどこがすごい?

- 4つの広く使われる模倣学習ポリシーを同一タスク・同一ハードウェア・同一評価プロトコルで直接比較した点。 - データ量を 12〜200 の入れ子部分集合で系統的に変化させ、スケーリング挙動を実測。 - 単なる成功率だけでなく、4段階ラダー(started / reached / carried / delivered)で失敗段階を分解。 - 測定ノイズ(同一 checkpoint の再テスト差)や seed 間変動、人間スコアの監査まで行う点は先行研究と比べて詳細。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 4ポリシー(ACT、Diffusion Policy、SmolVLA、$π_{0.5}$)をそれぞれ固定 training recipe で学習。 - データは 12/25/50/100/200 の nested subsets を使用。 - $π_{0.5}$ では action expert fine-tuning と low-rank adaptation の recipe を比較。 - 評価は物理 SO-101 上で固定 object placements に対し実施。 - 関節・カメラ記録から各エピソードを4段階ラダーに分類。 - 10エピソードブロックの測定弱さ、seed-to-seed variation とノイズの分離、人間スコアの監査を実施。 - training length は recipe 内で固定のため、データ量と反復回数が共変化する交絡を明示。

4. どうやって有効だと検証した?

- 物理 SO-101 上で 126ブロック・1,340 スコア付きエピソードを実行。 - ACT は 12デモで 40中1成功から 100デモで 40中37成功へ上昇。 - $π_{0.5}$(action expert fine-tuned)はデータ希少時に最良(12デモで 40中16、25デモで 40中28)、その後約70%で頭打ち。 - 100デモ以降は ACT が優位(差の原因は本研究では完全には解明されず)。 - SmolVLA と Diffusion Policy は約50%でピーク。SmolVLA は 47% のエピソードでアームが動き出さず、Diffusion Policy はデモから idle lead-in を除くまでほとんど開始しなかった。 - $π_{0.5}$ では low-rank adaptation が 110中4成功、action-expert fine-tuning が 200中130成功。 - 同一 checkpoint の再テスト差は平均 10中2成功。

5. 議論はある?

- training length が recipe 内で固定のため、データ量とデータ閲覧回数が共変化する交絡があり、どの結論がその交絡を生き残るか明示。 - 100デモ以降の ACT 優位の margin は本研究では完全には解明されていない。 - 10エピソードブロックは測定として弱く(同一 checkpoint 再テストで平均 10中2成功の差)、seed-to-seed variation とノイズを分離。 - 人間スコアを記録に対して監査。 - ACT ではデータ増加に伴い失敗が reaching → grasping → none へ移行、$π_{0.5}$ に残る失敗は grasping。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として ACT、Diffusion Policy、SmolVLA、$π_{0.5}$、low-rank adaptation、action expert fine-tuning が挙げられる。 - 同分野の定番として imitation learning、behavior cloning、vision-language-action モデルに関する文献が次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Simon Cowling

分類: cs.RO

原文アブストラクト

We trained four widely used imitation-learning policies, ACT, Diffusion Policy, SmolVLA and $π_{0.5}$, on nested subsets of 12, 25, 50, 100 and 200 teleoperated demonstrations of one pick-and-place task with distractor objects, using one fixed training recipe per policy. Every trained model was then run on a physical SO-101 arm on a fixed set of object placements: 1,340 scored episodes in 126 blocks. ACT, trained from scratch, rose from 1 success in 40 episodes at 12 demonstrations to 37 in 40 at 100. $π_{0.5}$ with its action expert fine-tuned was the best policy when data was scarce (16 of 40 at 12 demonstrations, 28 of 40 at 25) and then stayed near 70%; from 100 demonstrations ACT was ahead, by a margin this study does not fully resolve. SmolVLA and Diffusion Policy peaked near 50%, and both were affected by a failure to start: SmolVLA's arm never started moving in 47% of episodes, and Diffusion Policy hardly ever started until an idle lead-in was trimmed from the demonstrations. For $π_{0.5}$ the fine-tuning recipe mattered more than the amount of data: low-rank adaptation succeeded in 4 of 110 episodes, against 130 of 200 for action-expert fine-tuning. From the joint and camera recordings we place every episode on a four-stage ladder (started, reached the ball, carried it, delivered it) and show that for ACT more data moves failures from reaching, to grasping, to none, while the failures $π_{0.5}$ retains are in grasping. We also measure how weak a ten-episode block is as a measurement (the same checkpoint tested twice differs by 2 successes in 10 on average), separate seed-to-seed variation from that noise, and audit the human scoring against the recordings. Training length was fixed within each recipe, so the amount of data and the number of times it was seen change together; we state which conclusions survive that confound and which do not.

関連論文

PR本紙発行元 EmplifAI