日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
実ロボットデータセットarXiv:2611.03168

転がして再利用:7つの政策を12タスクで評価した3,718件の実ロボットエピソード

Rollout then Recycle: 3,718 Labelled Real-Robot Episodes from Benchmarking 7 Policies on 12 Tasks

シェア:XThreadsFacebookLINEはてブBluesky

低コストSO-101アームで12の卓上タスクに対し7つの模倣学習・VLA政策を同一条件で評価し、成功・準最適・失敗のラベル付き実ロボットエピソード3,718件を公開した。

詳しい要約

1. どんなもの?

- ArmnetBench v0.1 評価で得られた全 3,718 episodes を公開したデータセット - 600 の teleoperated demonstrations と 3,118 の rollouts から構成 - 12 の tabletop tasks を低コスト SO-101 arms で実施 - 7 つの imitation-learning および vision-language-action policies の rollouts を含む - rollouts の 73% は failures - 各 episode には 3 つの camera views、joint states、actions が含まれる - Hugging Face Hub 上で LeRobot v3.0 形式と reward-model 形式で提供 - 全 rollout に operator が successful / suboptimal / failure のラベルを付与

2. 先行研究と比べてどこがすごい?

- 同一タスクに対して複数 policies の失敗を含む共有タスクの corpus を提供 - 各タスクの全 policy が同じ 50 demonstrations で訓練/微調整され、同一 cell で rollout されている - 失敗が全体の 73% を占め、失敗データを大規模に収集している点が特徴 - 全 rollout に人手による 3 段階ラベル(successful / suboptimal / failure)を付与 - 低コスト SO-101 arms 上で収録され、3 camera views・joint states・actions を備える - 先行研究との具体的な比較は要旨からは不明

3. 技術・手法の肝は?

- ArmnetBench v0.1 評価プロトコルに基づくデータ収集 - 12 の tabletop tasks を設定 - 各タスクで 7 policies を同一の 50 demonstrations で訓練/微調整 - 同一 cell 上で rollout を実行 - 低コスト SO-101 arms を使用 - 各 episode に 3 つの camera views、joint states、actions を記録 - operator が各 rollout を successful / suboptimal / failure にラベル付け - LeRobot v3.0 形式と reward-model 形式の 2 形式で Hugging Face Hub に公開

4. どうやって有効だと検証した?

- 3,718 episodes の公開により、7 policies × 12 tasks の rollouts を収録 - 600 demonstrations と 3,118 rollouts - 全 rollout に対し operator による successful / suboptimal / failure のラベルを付与 - 同一タスク・同一 cell・同一 demonstrations という統制条件下での評価 - 具体的な性能比較や統計的検証の詳細は要旨からは不明

5. 議論はある?

- データ収集方法と、利用に影響しうる limitations を note で文書化 - 73% が failures であるため、失敗データの活用や reward-model 学習への影響が論点になりうる - 低コスト SO-101 arms や限られた demonstrations に由来する制約の詳細は要旨からは不明 - 具体的な議論の内容は要旨からは不明

6. 次に読むべき論文は?

- ArmnetBench v0.1 の評価論文(arXiv:2607.24481) - LeRobot v3.0(データ形式) - imitation-learning および vision-language-action policies の代表的手法 - reward-model 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Praveen Selvaraj, Lorenzo Uttini, Ville Kuosmanen

分類: cs.RO

原文アブストラクト

We release all 3,718 episodes from the ArmnetBench v0.1 evaluation (arXiv:2607.24481), which contains 600 teleoperated demonstrations and 3,118 rollouts of seven imitation-learning and vision-language-action policies on 12 tabletop tasks, recorded on low-cost SO-101 arms; 73% of the rollouts are failures. Every policy for a task was trained or fine-tuned on the same 50 demonstrations and rolled out on the same cell, so the corpus contains many policies' failures on shared tasks. An operator labelled every rollout successful, suboptimal or failure. Each episode has three camera views, joint states and actions and is available on the Hugging Face Hub in LeRobot v3.0 and a reward-model format. This note documents how the episodes were collected and the limitations that could affect their use.

PR本紙発行元 EmplifAI