物性推定2026/9/16arXiv:2609.18920

PhysVGGT: 単一画像からのフィードフォワード高密度物性推定

PhysVGGT: Feed-Forward Dense Physical Property Estimation from A Single Image

1枚のRGB画像から摩擦係数・硬さ・ヤング率・密度の高密度マップと物体質量を1回の順伝播で予測するモデルを提案し、擬似ラベル生成により大規模弱教師学習を可能にした。

詳しい要約

1. どんなもの？

- 単一のRGB画像から物体の物理的特性（摩擦係数、Shore硬度、Young率、密度）の密なマップと物体レベルの質量を予測するフィードフォワードモデルPhysVGGTを提案。 - 物理的特性推定をピクセルごとの密な予測問題として定式化し、視覚幾何Transformerで幾何認識トークンを抽出。 - 密な予測ブランチとグローバルな予測ブランチを組み合わせ、物体レベルの質量も推定。 - スケーラブルな疑似ラベル生成パイプラインを導入し、大規模弱教師あり学習を可能に。 - 推論時間は画像あたり0.13秒で、従来の最先端手法より27倍高速。

2. 先行研究と比べてどこがすごい？

- 既存手法は物体ごとの再構成と物理的特性の付与、またはテスト時の視覚言語モデルクエリに依存し、計算オーバーヘッドが大きい。 - PhysVGGTはフィードフォワードで単一画像から直接予測し、物体ごとの再構成やテスト時最適化を不要に。 - 推論レイテンシ0.13秒/画像を実現し、従来の最先端手法より27倍高速。 - ABO-500データセットで最先端性能を達成し、分布外のNeRF2Physicsデータセットにも効果的に汎化。

3. 技術・手法の肝は？

- 物理的特性推定を密なピクセルごとの予測問題として定式化。 - 視覚幾何Transformerを用いて入力画像から幾何認識トークンを抽出。 - 密な予測ブランチで局所的な物理的特性（摩擦係数、Shore硬度、Young率、密度）を推定。 - グローバルな予測ブランチで物体レベルの質量を推定。 - スケーラブルな疑似ラベル生成パイプラインを導入し、大規模弱教師あり学習を実現。 - 高価な直接物理測定の必要性を大幅に削減。

4. どうやって有効だと検証した？

- ABO-500データセットで最先端性能を達成。 - 分布外のNeRF2Physicsデータセットへの汎化を実証。 - 推論レイテンシ0.13秒/画像を達成し、従来の最先端手法より27倍高速であることを確認。 - 物体ごとの再構成やテスト時最適化が不要であることを検証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：ABO-500データセット、NeRF2Physicsデータセット、視覚言語モデル（vision-language models）、視覚幾何Transformer（visual geometry transformer）。 - 同分野の定番：物体ごとの再構成に基づく物理的特性推定手法、テスト時最適化を用いる手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sneha Paul, Guile Wu, Bingbing Liu, Dongfeng Bai

分類: cs.CV

原文アブストラクト

Physical properties, such as friction, hardness, stiffness, and density, govern how robots should grasp, manipulate and interact with objects, yet estimating these properties from RGB images remains challenging. Existing methods typically employ per-object reconstruction augmented with physical properties or directly query vision-language models at test time, which results in substantial computational overhead that limits their applicability. In this work, we present PhysVGGT, a feed-forward model that predicts dense maps of friction coefficient, Shore hardness, Young's modulus, and density, together with object-level mass, from a single RGB image in one forward pass. The key idea of PhysVGGT is to formulate physical property estimation as a dense per-pixel prediction problem and employ a visual geometry transformer to extract geometry-aware tokens from the input image followed by a dense prediction branch for estimating local physical properties and a global prediction branch for estimating object-level mass. In addition, we introduce a scalable pseudo-label generation pipeline that enables large-scale weakly supervised training for dense physical property prediction, substantially reducing the need for expensive direct physical measurements. Extensive experiments show that PhysVGGT achieves state-of-the-art performance on the ABO-500 dataset and generalizes effectively to the out-of-distribution NeRF2Physics dataset. Moreover, PhysVGGT eliminates the need for per-object reconstruction and test-time optimization, achieving an inference latency of only 0.13s per image, making it $27\times$ faster than the previous state of the art.

arXivで原文を読む →arXiv概要ページ

← 論文一覧