SO-101 Bench：低コストアーム向け空間マニピュレーションのシミュレーションベンチマーク

- SO-101 のような低コストアーム向けの、言語条件付き空間マニピュレーションのシミュレーションベンチマーク。 - 実機 SO-101 セットアップの Isaac Lab digital twin 上に構築。 - 4 タスクを 5 families として採点。 - 138 objects を seen / unseen-instance / unseen-class の split に分割。 - 916 evaluation episodes に、held-out appearances、rotate-to-fit planning、occlusion memory のサブセットを含む。 - 3,629 simulated demonstrations を用意し、全ての学習ポリシーを等しい compute budget で fine-tune。

- 既存の SO-101 ベンチマークは実機のみで、単純タスクかつ held-out objects が少ない。 - 本研究はシミュレーション上で言語条件付きの空間制約タスクを扱い、seen / unseen-instance / unseen-class の split と held-out appearances を備える。 - 公開ポリシーで SO-101 上の空間制約・言語条件タスクをそのまま遂行できるものがないというギャップに対応。 - digital twin が実機と同じポリシーランキングを再現する点を主張。

- 実機 SO-101 の Isaac Lab digital twin を構築し、シミュレーションで評価。 - 4 タスクを 5 families としてスコア化。 - 138 objects を seen / unseen-instance / unseen-class に分割し、held-out appearances、rotate-to-fit planning、occlusion memory のサブセットを用意。 - 3,629 simulated demonstrations で全学習ポリシーを等しい compute budget の下で fine-tune。 - 比較対象は 9 つの VLAs と world-action models、さらにコードを書き把持を学習ポリシーに委ねる LLM agent。

- 実データなしで学習した 5 ポリシー(4 VLAs と 1 LLM agent)を、実機アームで未見環境・未見物体に対して実行。 - 同一重みでの実機結果がシミュレーションと完全に同じランキングになることを確認(Spearman rho = 1.00、MMRV = 0.000)。 - ただしシミュレーションは成功率を過大評価する。 - 9 つの VLAs と world-action models の比較で、最良の学習ポリシーは約 61%。 - LLM agent は 83.2% を記録し、ablation で harness と language model の選択が優位性の源と示す。

- シミュレーションは実機と同じランキングを再現するが、成功率を過大評価する。 - 最良の学習ポリシーでも約 61% にとどまり、spatial placement、unseen object classes、rotate-to-fit planning が未解決課題として残る。 - LLM agent の 83.2% という優位性は harness と language model の選択に由来することを ablation が示す。 - 実機評価は未見環境・未見物体で行われたが、その他の一般化条件については要旨からは不明。

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として、本文で比較対象の VLAs、world-action models、LLM agent が挙げられる。 - 基盤として Isaac Lab の digital twin と SO-101 実機セットアップが重要。 - 同分野の定番として、言語条件付きマニピュレーションの VLA 系研究や world model 系研究を次に読む候補とする。