何が起きたか
論文は2026年10月27日、ACT、Diffusion Policy、SmolVLA、π0.5を、単一のピック・アンド・プレース課題の遠隔操作実演12、25、50、100、200件で学習し、物理SO-101アームで評価した実験を報告した。固定された物体配置で計1,340試行を採点し、126ブロックに分けて比較した。ACTは実演12件で40試行中1回、100件で37回成功した。
詳細
π0.5はaction expertのファインチューニングで、実演12件時に40試行中16回、25件時に28回成功し、その後は約70%で推移した。100件以上ではACTが上回ったが、差の大きさは研究で十分に解明できていない。SmolVLAとDiffusion Policyは成功率が約50%で頭打ちとなり、SmolVLAは試行の47%でアームが動き始めず、Diffusion Policyは実演データから待機時間を除くまでほとんど動作を開始しなかった。π0.5では学習方式による差もあり、低ランク適応は110試行中4回、action expertのファインチューニングは200試行中130回成功した。 研究は各試行を「動作開始」「ボール到達」「運搬」「目標位置への搬送」の4段階に分類した。学習期間は手法ごとに固定されており、データ量と各データの学習時の反復回数が同時に変化するため、著者らはその交絡を明示している。同じチェックポイントを10試行のブロックで2回評価すると、成功数は平均2回分異なったとも報告した。
Key Facts
| 比較対象はACT、Diffusion Policy、SmolVLA、π0.5の4手法で、実演数は12、25、50、100、200件。 | [1] |
| 物理SO-101アームで、固定した物体配置を使い、計1,340試行を126ブロックで評価した。 | [1] |
| ACTは実演12件で40試行中1回、100件で37回成功した。 | [1] |
| π0.5のaction expertファインチューニングは12件で16/40、25件で28/40の成功数で、低ランク適応は110試行中4回だった。 | [1] |
| 同じチェックポイントを10試行のブロックで再評価した際、成功数は平均2回分異なった。 | [1] |
本紙の見方
この実験の焦点は、実演を増やした際の成功率だけではなく、どの段階で失敗が減るかを手法別に分けた点にある。ACTは実演数が増えるにつれて、到達、把持、搬送に関わる失敗が減った。一方、π0.5は少量データで高い成功数を示したものの、残る失敗は把持段階に集まったと報告されている。単一の成功率だけでは、次に必要な改善がデータ追加なのか、動作開始や把持の改善なのかを区別しにくい。4段階の記録は、その切り分けを試みる評価設計として読める。 数字の比較には、データ量以外の条件も影響し得る。学習期間は各レシピ内で固定されているため、実演件数が増えると、データ量と同時に各実演が学習で使われる回数も変わる。したがって、ACTの成功数の上昇をデータ量だけの効果とみなすことはできず、著者らもこの交絡を明示している。また、π0.5では低ランク適応とaction expertの結果に大きな開きがある。少量データ下の手法比較は、モデル名だけでなく、どの部分をどうファインチューニングしたかを分けて読む必要がある。 評価の粒度も解釈に関わる。10試行のブロックでは同一チェックポイントでも再評価間に平均2回の成功数差が出た。これは、40試行での手法間の差を読む際に、ブロックの結果を単独で一般化しない方がよいことを示す。ただし、論文は試行を1,340件、126ブロックで評価し、乱数シード間の変動と測定ノイズを分けて扱ったとしている。今後確認すべきなのは、この課題・アーム・物体配置に依存する結果が、別の課題や実機条件でも再現するか、また動作開始や把持の失敗分類が他の評価者でも一致するかである。今回のデータからは、他のロボットや作業への一般化までは判断できない。
なぜ重要か
実演データを増やすだけでなく、学習方式と失敗段階を分けて評価する必要性を、この単一課題での比較が示している。とくに、同一条件でも10試行ブロック間で平均2回の成功数差があるため、少数試行の成績を手法の優劣と直結させず、評価回数と失敗の内訳を併せて見ることが重要だ。