日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

力覚/マニピュレーションarXiv:2611.21099

ForceHarness: 凍結モデルに力覚を行動と物理へ変換する仕組み

ForceHarness: Turning Force into Action and Physics for Frozen Frontier Models

シェア:XThreadsFacebookLINEはてブBluesky

APIのみで利用可能な凍結マルチモーダルモデルに、力覚センサ情報を物理量として解釈させ接触を伴うマニピュレーションをゼロショットで実現するフレームワークを提案。実機で成功率を3.3%から90.0%に向上。

詳しい要約

1. どんなもの?

- 画像入力のみの frozen な frontier multimodal model に、接触力を扱わせるための harness「ForceHarness」 - API-only の frozen model を対象 - demonstration や finetuning を必要としない - 力覚制御を model の下層で閉ループ化し、model には物理量として返す枠組み - 実機検証と MuJoCo ベースの新 benchmark「HiddenPhys」も提示

2. 先行研究と比べてどこがすごい?

- 画像のみで zero-shot ロボット制御する先行の frontier model に対し、画像で見えない接触力を扱える点が新しい - demonstration で学習した force-aware policy を、実機・simulation 両方で上回る - 公開 ForceBench で +17.5pt - HiddenPhys で +34.3pt - HiddenPhys では hand-written expert controller に匹敵 - frozen model を finetuning せずに力覚タスクを達成する点が先行研究と異なる

3. 技術・手法の肝は?

- wrist sensor または joint torques のみから hand force を calibration - 課題1(接触の高速性)への対処: - self-terminating force primitives が力を自律的に調整し、contact event で戻る - model の判断周期より下で力の閉ループを回す - 課題2(生の力の解釈不能性)への対処: - physics translation layer が各 force trace を不確実性付きの物理量に変換し、tool result として返す - これにより frozen model が推論可能な形で力情報を受け取る

4. どうやって有効だと検証した?

- 実機: wrist force sensor なしの実アームで GPT-6 Astra の zero-shot 成功率を 3.3% から 90.0% へ向上 - simulation: - 公開 ForceBench で +17.5pt - 新規 HiddenPhys(隠れた物理変数を持つ7タスクの MuJoCo benchmark)で +34.3pt - 同一条件で expert force controller および learned policy と比較 - ablation: 小さい model は raw force 値より物理量を与えた方が判断が有意に良い

5. 議論はある?

- 力の閉ループを model の外に置く設計の有効性を示す一方、model 自体の力理解は physics translation layer に依存 - 物理量+不確実性を返す表現が小規模 model の判断を改善するという知見 - 実機は単一アーム・単一 model での結果であり、他 embodiment や他 model への一般化は要旨からは不明 - HiddenPhys は著者ら構築の benchmark であり、外部妥当性は要旨からは不明

6. 次に読むべき論文は?

- ForceBench(比較対象の公開 benchmark) - HiddenPhys(本論文の MuJoCo benchmark) - demonstration で学習する force-aware policy の代表手法 - hand-written expert force controller - GPT-6 Astra など frozen frontier multimodal model による zero-shot ロボット制御の先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ke Sun, Kevin Yuchen Ma, Yike Zhang, Yanzhe Chen, Mike Zheng Shou

分類: cs.RO

原文アブストラクト

Frontier multimodal models can now control robots zero-shot from images, yet many manipulation tasks depend on contact forces that images cannot show. Bringing force to an API-only frozen model raises two challenges. First, contact evolves much faster than an API model can decide, so the system must close the loop on force beneath the model. Second, a frozen model cannot interpret raw force streams, so force must be returned in a form the model can reason about. Therefore, we present ForceHarness, a harness that lets frozen models use force without demonstrations or finetuning. After calibrating hand force from a wrist sensor or joint torques alone, ForceHarness addresses the first challenge with self-terminating force primitives that regulate force on their own and return at a contact event. To address the second challenge, a physics translation layer turns each force trace into physical quantities with uncertainty as the tool result. To evaluate ForceHarness against expert force controllers and learned policies under identical conditions, we also build HiddenPhys, a seven-task MuJoCo benchmark with hidden physical variables. On a real arm without a wrist force sensor, ForceHarness raises the zero-shot success rate of GPT-6 Astra from 3.3% to 90.0%. In simulation, it adds 17.5 percentage points on the public ForceBench suite and 34.3 percentage points on HiddenPhys, surpassing force-aware policies trained on demonstrations on both benchmarks and matching hand-written expert controllers on HiddenPhys. Ablations further show that smaller models make significantly better decisions when given physical quantities rather than raw force values.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI