TriPhysBench、身体性AIの評価用に410問を作成　6モデルの最高正答率は50.38%

何が起きたか

arXiv掲載論文は、200本の動画から作成した410問で、身体知覚、物理知識の検索、物理推論を共通の枠組みで評価する「TriPhysBench」を提案した。代表的な視覚言語モデル6種のうち、最良の正答率は50.38%だった。論文はさらに、3つの能力を統合して学習する枠組み「TriPhys」を示し、訓練に使っていない動画の110問で評価した。

詳細

TriPhysBenchには、観測値の取得を求める測定基盤の課題と、外部仕様の取得を求める知識基盤の課題がある。いずれも取得した情報を使って定量的な問題に答える構成で、3能力を同じ評価設定に置く。 TriPhysは、ツールを組み込んだ一連の軌跡から統合ポリシーを学習する。中間推論で情報検索と計算を導き、ツールからのフィードバックを後続の物理推論に反映する。訓練対象外の動画に関する110問で、3種類のQwen構成すべてにおいて回答スコアと解法スコアが改善し、TriPhys-27Bは基盤モデルのQwen3.6-27Bに対して回答正答率が相対で17.7%向上した。

Key Facts

本紙の見方

この研究の中心は、物体や動作を認識できるかだけでなく、観測値や外部仕様を得て、物理的な定量判断までつなげられるかを評価対象にした点にある。410問を測定基盤と知識基盤の課題に分けた設計は、誤答の原因が視覚的な観測の不足なのか、仕様の検索なのか、その後の推論なのかを切り分ける足場になりうる。ただし、論文概要からは各要因を個別に測る指標や誤答分類の詳細までは確認できない。 6モデルの最高正答率が50.38%にとどまった結果は、論文が設定した複合課題で、既存の視覚言語モデルの能力に限界があることを示す。これは実機ロボットの成功率ではなく、動画に関する質問への回答精度である。したがって、結果をそのまま実環境での操作能力や安全性に読み替えることはできず、ベンチマークの得点が実際の行動へどこまでつながるかは別に検証する必要がある。 TriPhysの特徴は、知覚・検索・計算を個別の機能として扱うのではなく、ツール利用を含む一連の軌跡を学習単位にしたことだ。中間推論が検索と計算を導き、ツールの返答を後続推論へ戻す構成は、外部情報を得てから物理判断を更新する手順を評価・学習に含める。訓練対象外動画の110問で3種類のQwen構成に改善があった一方、概要に示された相対17.7%の向上はTriPhys-27BとQwen3.6-27Bの回答正答率に関する値であり、他の構成や実機で同じ効果があるとはいえない。 今後確認すべきなのは、各課題の採点方法、利用できる検索・計算ツールの条件、訓練データと評価動画の分離方法が再現可能な形でどこまで示されているかだ。また、動画質問への解答からロボットの行動選択へ評価を広げた場合にも改善が保たれるかは、この論文概要だけでは分からない。ベンチマークの得点と行動能力を分けて追うことが、TriPhysBenchの評価範囲を判断する上で重要となる。

なぜ重要か

論文の評価では、代表的な視覚言語モデル6種の最高正答率が50.38%であり、動画上の物理現象について観測・知識検索・推論を連携させる課題に性能上の余地が示された。TriPhysはツールからのフィードバックを後続推論に反映する学習方式を提示しており、単純な認識精度では捉えにくい情報取得と定量判断の組み合わせを測る点に意義がある。