MIM-VLA: グリッパモータフィードバックから物理的相互作用表現を学習する

- 視覚と言語と行動から把持を推論する VLA ポリシーは接触後の物理応答を明示的に表現しない。 - 本研究は gripper の current・position・velocity・signal validity を 128 次元の interaction token に符号化する motor-feedback ベースの MIM-VLA を提案。 - motor-only の Motor Interaction Module (MIM) を人間が確認した contact と interaction-phase ラベルで事前学習。 - この token は SmolVLA の gripper-action pathway のみを条件付けし、arm action と position-control interface は変更しない。 - 同じ token は候補を比較する MEM selector VLM を支え、evidence-conditioned な選択と説明を生成する。

- 従来の VLA は視覚観測と robot state から把持行動を推論し、接触後の物理応答を明示的に表現しない。 - MIM-VLA は gripper から既に得られる motor feedback を用い、追加の tactile array・force-torque sensor・calibrated force estimate・direct current control を必要としない。 - 13 の物体ペアで、より抵抗の高い物体を選ぶ割合は 75.0% で、SmolVLA baseline の 48.8% を上回る。 - 視覚的に異なる物体の interaction resistance 比較、視覚的に類似した real と replica の能動的 probing による曖昧性解消、fragile 物体の gentle grasping を含む実世界設定で評価。

- gripper の recent current・position・velocity・signal validity を 128 次元の interaction token に符号化する。 - motor-only の Motor Interaction Module (MIM) を human-reviewed な contact と interaction-phase ラベルで pretrain する。 - この token で SmolVLA の gripper-action pathway のみを条件付けし、arm action と position-control interface は変更しない。 - 同じ token を MEM selector VLM に用い、候補 interaction を比較して evidence-conditioned な選択と説明を生成する。

- 3 つの実世界設定で評価: 視覚的に異なる物体の interaction resistance 比較、視覚的に類似した real と replica の能動的 probing による曖昧性解消、fragile 物体の gentle grasping（held-out instances を含む）。 - 13 の物体ペアで、MIM-VLA はより抵抗の高い物体を 75.0% の試行で選択し、SmolVLA baseline の 48.8% を上回った。 - 評価タスクにおいて、gripper から既に得られる motor feedback を使用し、追加の tactile array・force-torque sensor・calibrated force estimate・direct current control を必要としない。

- 要旨からは不明。 - 限界、失敗事例、計算コスト、一般化可能性、ラベル作成コスト、他ハードウェアへの転用可能性についての議論は要旨に記載がない。

- SmolVLA（baseline として比較） - MEM selector VLM（本研究で用いられる選択・説明モジュール） - Motor Interaction Module (MIM)（本研究の事前学習モジュール） - 関連する VLA ポリシー研究（一般名として Vision-Language-Action policies） - 触覚・力覚を用いる grasping 研究（一般名として tactile sensing / force-torque sensing を用いる手法）