日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル/手姿勢推定arXiv:2611.20196

自由度クエリTransformerによる一人称視点と前腕HD-sEMGの適応的融合で連続手関節運動を推定

DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics

シェア:XThreadsFacebookLINEはてブBluesky

一人称RGB画像と前腕128ch HD-sEMGから20関節角度を連続推定するマルチモーダル手法を提案し、各自由度に専用クエリを割り当てて文脈適応的に融合することで高精度(R²=0.88, MAE=2.80°)を達成した。

詳しい要約

1. どんなもの?

- 一人称視点RGB画像と前腕128ch HD-sEMGから20関節角度を連続回帰する手指非装着型マルチモーダル枠組み - Vision Transformer系の視覚encoder、Transformer系のEMG encoder、DoF query Transformer融合decoderで構成 - 各DoFに個別のlearnable queryを割り当て、視覚とEMGの情報量差に応じた文脈適応的融合を行う - 身体化知能データセット向けの行動supervision取得やdexterous robot learningへの応用を狙う

2. 先行研究と比べてどこがすごい?

- 単一modalでは動作条件により信頼性が不足するという課題に対し、egocentric visionとforearm HD-sEMGを融合 - 評価した代表的な単一modal baselineおよび代替fusion設計を上回ったと報告 - vision-onlyはR^2 0.82・MAE 3.21°、EMG-onlyは0.68・5.13°に対し、fusionは0.88・2.80° - 視覚的に曖昧な関節や視野条件でfusion利得が大きく、合成visual occlusionでもvision-onlyより頑健

3. 技術・手法の肝は?

- 視覚側はVision Transformerベースのvisual encoderでegocentric RGBを符号化 - EMG側はTransformerベースのEMG encoderで128-channel forearm HD-sEMGを符号化 - fusion decoderはdegree of freedom (DoF) query Transformerで、各DoFに別々のlearnable queryを付与 - 関節DoFごと・入力条件ごとに視覚とEMGの情報量が異なることを、query単位のcontext-adaptive fusionで扱う

4. どうやって有効だと検証した?

- 10名の参加者から取得した同期マルチモーダルデータで評価 - 参加者平均でfusion modelはR^2 0.88、MAE 2.80°を達成 - vision-only、EMG-only、評価した代表的な単一modal baseline、代替fusion設計と比較 - DoF別分析と合成visual occlusionによる頑健性評価を実施

5. 議論はある?

- DoF別にfusion利得が異なり、視覚的に曖昧な関節・視野条件で利得が大きいと報告 - 合成visual occlusion下でvision-onlyより高い頑健性を示し、両modalの相補性を支持 - 手指非装着での連続推定、human demonstration取得、dexterous robot learningへの可能性を述べる - 実運用上の限界や失敗要因の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨内で参照・比較されているvision-only model、EMG-only model、代表的なunimodal baselines、代替fusion designs - 関連手法としてVision Transformer、Transformer-based EMG encoder、DoF query Transformer fusion decoder - 応用先としてembodied-intelligence datasets、dexterous robot learning、human demonstration acquisitionに関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu

分類: cs.CV, cs.HC, cs.LG

原文アブストラクト

Continuous and accurate estimation of human hand kinematics is important not only for intuitive human-machine interaction, but also for capturing fine-grained human manipulation demonstrations that can provide action supervision for embodied-intelligence datasets and dexterous robot learning. However, individual sensing modalities may be insufficient for reliable estimation under varying operating conditions. We present a finger-unencumbered multimodal framework for continuous regression of 20 hand joint angles from egocentric RGB images and 128-channel forearm high-density surface electromyography (HD-sEMG). The framework combines a Vision Transformer-based visual encoder, a Transformer-based EMG encoder, and a degree of freedom (DoF) query Transformer fusion decoder. To account for the varying informativeness of visual and EMG cues across joint DoFs and input conditions, the decoder assigns a separate learnable query to each DoF, enabling DoF-specific and context-adaptive fusion of the two modalities. The framework was evaluated on synchronized multimodal data from 10 participants. Averaged across participants, the proposed fusion model achieved a mean coefficient of determination ($R^2$) of $0.88$ and a mean absolute error (MAE) of $2.80^\circ$, compared with $0.82$ and $3.21^\circ$ for the vision-only model and $0.68$ and $5.13^\circ$ for the EMG-only model. It also outperformed the evaluated representative unimodal baselines and alternative fusion designs. DoF-wise analyses showed larger fusion gains for visually ambiguous joints and viewing conditions, while synthetic visual occlusion demonstrated greater robustness than vision-only estimation. These results highlight the complementary value of egocentric vision and forearm HD-sEMG for capturing fine-grained human hand kinematics, with potential applications in human demonstration acquisition and dexterous robot learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI