日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
移動操作/VLA/力推定arXiv:2609.03889v1

FWBC-VLA: 接触を伴う移動操作のための力認識全身補償

FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

車輪付き脚ロボットの接触を伴う移動操作において、力センサを使わずに接触力を推定し、その情報をVLAモデルに統合することで、タスクレベルの行動生成と低レベルの全身補償制御を橋渡しするフレームワークを提案した。

詳しい要約

1. どんなもの?

FWBC-VLAは、車輪付き脚型ロボットの接触を伴う移動操作(loco-manipulation)のための、力認識フレームワークである。タスクレベルのVLAモデルによる行動生成と、低レベルの全身制御(WBC)を橋渡しする。センサレス残差トルク推定器(HSR-Force)で接触力を推定し、その情報をVLAの行動デコーダにトークンとして注入することで、接触の開始・持続・解放を認識させる。また、補償生成器が補正行動を生成し、操作行動と組み合わせてWBCポリシーに渡す。ホワイトボード拭きとドアクローザ付きドア開けの実機実験で有効性を示した。

2. 先行研究と比べてどこがすごい?

既存のVLAモデルは視覚と言語からタスクレベルの行動を生成するが、行動によって引き起こされる物理的相互作用を解釈できない。WBCポリシーはロボットを安定化できるが、タスク関連の接触力と外乱による力を区別できない。力/トルクセンサは直接測定できるが、追加ハードウェアコストと統合労力がかかる。FWBC-VLAは、センサレスで接触力を推定し、VLAに組み込むことで、これらの問題を解決する点が新しい。

3. 技術・手法の肝は?

手法の肝は、センサレス残差トルク推定器(HSR-Force)で接触強度とその時間変化を推定し、接触推定値をトークンとしてVLA行動エキスパートに注入すること。さらに、ロボットの固有受容状態、ヤコビアン由来のボディフレーム力推定、接触状態を補償生成器に入力し、補正行動を生成する。操作中心の行動と補正行動を組み合わせてWBCポリシーに渡す。VLAバックボーンはWL&Arm Dataset(5000エピソード以上)で全パラメータをファインチューニングする。

4. どうやって有効だと検証した?

実機実験で検証した。タスクはホワイトボード拭きとドアクローザ付きドア開けであり、接触を伴う移動操作におけるFWBC-VLAの有効性を示した。具体的な数値や比較結果は要旨からは不明。

5. 議論はある?

要旨からは、提案手法の限界や議論は明示されていない。ただし、センサレス推定の精度や、VLAのファインチューニングに大規模データセットが必要な点、実機実験のタスクが限定的である点などが潜在的な議論として考えられるが、要旨には記載がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、Vision-language-action (VLA) models、whole-body control (WBC) policy、force/torque sensors、HSR-Force (sensorless residual-torque estimator)などである。次に読むべき論文としては、これらの基礎となるVLAモデルやWBC、残差トルク推定に関する論文が挙げられるが、具体的なタイトルは要旨にないため、同分野の定番として「Vision-Language-Action Models」や「Whole-Body Control for Legged Robots」などを一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yutian Zhang, Siyuan Ma, Liwen Yang, Yang Li, Ce Hao, Haozhen Chi, Dong We, Qiaojun Yu, Dibo Hou

分類: cs.RO, cs.AI

原文アブストラクト

Contact-rich loco-manipulation requires a bridge between semantic action generation and physical interaction control. Existing Vision-language-action (VLA) models generate task-level actions from visual and linguistic observations, but cannot interpret the physical interactions induced by those actions. While the whole-body control (WBC) policy can stabilize the robot, it cannot distinguish task-relevant interaction forces from forces induced by external disturbances during manipulation. Although force/torque sensors provide direct measurements of physical interactions, retrofitting them entails additional hardware costs and substantial integration effort, particularly for platforms not designed with sensor integration in mind. To address this problem, we propose FWBC-VLA, a force-aware framework that bridges task-level VLA action generation and low-level whole-body compensation control for wheeled-legged robots. First, we introduce HSR-Force, a sensorless residual-torque estimator for inferring contact strength and its temporal variation. These contact estimates are then encoded as tokens and injected into the VLA action expert during action decoding, enabling the policy to perceive contact onset, sustained loading, and release. For loco-manipulation tasks, all parameters of the pretrained VLA backbone are fine-tuned on our WL\&Arm Dataset, which comprises more than 5,000 episodes. Moreover, the robot's proprioceptive state, the Jacobian-derived body-frame force estimate, and the estimated contact state are jointly fed into a compensation generator to produce corrective actions. The manipulation-centric actions are subsequently combined with the corrective actions and passed to the WBC policy for execution. Real-world experiments on whiteboard wiping and door opening with a door closer demonstrate the effectiveness of our FWBC-VLA in contact-rich loco-manipulation.