HiTac-WAM: 接触を伴うロボット操作のための階層的触覚ワールドアクションモデル

HiTac-WAMは、接触を伴うロボット操作のための階層的触覚ワールドアクションモデルである。各候補アクションチャンクに対して、実行前に将来の触覚状態のシーケンスを予測する。予測は、接触状態、3D変形場、滑りリスクの3つの要素に分解され、これらが有向階層として組織化される。各下流段階は、前段階からのstop-gradient信号に条件付けられる。計画時には、触覚予測とタスク進捗推定を用いて候補アクションチャンクをランク付けし、実行時には、選択された触覚予測を参照として保持し、予測と観測の触覚状態の持続的な不一致が修正的再計画をトリガーする。

既存の触覚対応ワールドアクションモデルは、将来の触覚を画像や潜在ストリームとして表現し、触覚状態を階層的に組織化する物理的依存関係をモデル化していない。HiTac-WAMは、接触状態、3D変形場、滑りリスクを有向階層として明示的にモデル化し、各段階が前段階に条件付けられる点で優れている。また、触覚クエリがビデオアクションコンテキストに注意を向ける一方で、ビデオとアクションのクエリが触覚トークンに注意を向けないようにする有向注意マスクを導入している。

手法の肝は、触覚状態の階層的分解と有向注意マスクである。予測は、接触状態、3D変形場、滑りリスクの順に生成され、各段階は前段階のstop-gradient信号に条件付けられる。有向注意マスクにより、触覚クエリはビデオアクションコンテキストに注意を向けるが、ビデオとアクションのクエリは触覚トークンに注意を向けない。計画時には、触覚予測とタスク進捗推定を用いて候補アクションチャンクをランク付けし、実行時には、予測と観測の不一致に基づく修正的再計画を行う。

有効性は、接触F1スコアの平均0.921、3D変位L2誤差の17.6%削減（変形のみの予測器と比較）、滑りAUPRCの60.4%向上（滑りのみの予測器と比較）によって検証された。また、チップ把持、黒板消し、USB挿入の3つのタスクで、階層的予測による選択が実ロボットの成功率を31.1%から61.1%に向上させ、フルシステムでは72.2%に達した。

要旨からは、議論や限界についての詳細は不明である。ただし、階層的予測が個々の予測器よりも優れていることが示されており、触覚状態の物理的依存関係をモデル化することの重要性が示唆される。また、実ロボットでの成功率が向上したが、完全な成功率には至っておらず、さらなる改善の余地がある可能性がある。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、World Action Models、触覚センシングを用いたロボット操作、階層的予測モデルに関する論文が挙げられる。具体的には、Tactile World ModelsやContact-Rich Manipulationのためのモデルベース強化学習に関する研究が関連する。