arXiv、両手器用操作のベンチマーク「BiDex-100」を公開

何が起きたか

arXivは2026-10-18、両手の器用操作向けベンチマーク「BiDex-100」を掲載した。106課題を収録し、一般化、指示追従、少数デモ、長期課題、記憶の5軸で評価する設計である。各課題には、視覚と空間の変化を制御した域外変種も付けた。 このベンチマークは2種類のembodimentに対応し、8,080件の成功検証済みテレオペ示範を備える。データ総量は6.25 million framesで、7つの近年のVision-Language-Actionモデルを共通プロトコルで評価した。

詳細

BiDex-100は、両手の器用操作を対象とするシミュレーション・ベンチマークであり、106課題を5つの能力軸に整理している。各課題には、視覚・空間の変化を制御したout-of-domain variantが付属し、頑健性を体系的に測定できる構成だ。 データ面では、2つのembodiment、8,080件の成功検証済みteleoperated demonstrations、合計6.25 million framesを含む。論文は7つのVision-Language-Actionモデルを同一の評価手順で比較し、能力別性能、頑健性、データ効率の基準を置いている。

Key Facts

本紙の見方

BiDex-100の新しさは、両手の器用操作を単一の課題群で広く測る点と、106課題を5軸に分解している点にある。単に「多くのタスクがある」ベンチマークではなく、一般化、指示追従、少数デモ、長期課題、記憶という能力差を切り分ける設計であり、さらに各課題にout-of-domain variantを付けて頑健性まで見る。つまり、ロボットの成否を平均点だけでなく、どの能力で崩れるかまで確認するための評価基盤だといえる。 本紙の関連記事は与えられていないため、過去報道との接続はできない。ただし、論文の構造からみると、モデル開発側にとっては学習済みモデルの優劣だけでなく、どのデータ条件で性能が伸びるかを見分ける検証基盤になる。8,080件の成功検証済みデモと6.25 million framesは、評価用ベンチマークでありながら学習データとしての性格も強く、VLAモデルの性能差が「モデル構造」なのか「データ効率」なのかを分けて考える材料になる。 業界構造への含意としては、両手操作の評価が単腕の把持や単純なナビゲーションよりも、長期記憶、少数デモ適応、視覚変化への耐性に寄っている点が重要だ。これにより、研究の焦点は一回限りの成功率から、タスク横断の再現性とデータ効率へ移る可能性がある。未確定の論点は、このベンチマークが今後どの程度標準化されるか、追加のembodimentや実機評価へ広がるか、また7モデルの比較でどの能力軸に差が出たのかである。

なぜ重要か

論文が示した106課題、8,080件の成功検証済み示範、6.25 million framesは、両手操作の評価を具体的なデータ規模で定義し直すものだ。研究者にとっては、VLAモデルを一般化・頑健性・データ効率の3点で比較する基準になりうる。

日本への影響

日本のロボット研究では、両手マニピュレーションの評価軸が、単なる成功率ではなく長期課題や記憶まで含む形で具体化した点が示唆を持つ。器用手や両手作業の研究開発では、このようなベンチマークに合わせて学習データと評価設計をそろえられるかが焦点になりそうだ。