日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.01794

EMGと視覚タスク記述子によるVLAの連続的条件付け

Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに筋電図と視覚セグメンテーションを追加条件として与える2つの手法を提案し、混雑した未知環境でのタスク性能が言語条件のみより大幅に向上することを示した。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルは言語に強く依存している。 - 本研究は、state space の他のモダリティが補助的な task conditioning に有効という仮説を検証。 - 2つのモデルを提案: - EC-VLA: 8-channel electromyography (EMG) envelopes を proprioceptive vector に連結。 - VA-VLA: 画像入力に visual segmentation annotations を追加。 - cube-selection task を3被験者で評価。

2. 先行研究と比べてどこがすごい？

- 従来の VLA は言語プロンプトによる task conditioning が主流。 - 本研究は言語以外のモダリティ (EMG, visual segmentation) を連続的条件付けに用いる点が新しい。 - 特に clutter や ambiguous なシーンでの性能向上を主張。 - 言語プロンプトベースラインと比較して、out-of-distribution で大幅改善。

3. 技術・手法の肝は？

- EC-VLA: 8-channel electromyography envelopes を proprioceptive vector に concatenate して連続的条件入力とする。 - VA-VLA: 画像入力に visual segmentation annotations を付加。 - 両モデルとも VLA を fine-tune して実装。 - 言語プロンプトベースラインと比較。

4. どうやって有効だと検証した？

- cube-selection task を3被験者で評価。 - EC-VLA: uncluttered, in-distribution では言語ベースラインと同等、cluttered, out-of-distribution では大幅に上回る。 - VA-VLA: in-distribution で modest な改善、cluttered, out-of-distribution で substantial な改善。 - 結果は言語以外の task conditioning の有効性を支持。

5. 議論はある？

- 言語以外のモダリティが補助的条件付けとして有効である強い証拠を提供。 - 特に clutter や ambiguous なシーンで有用。 - 限界や議論の詳細は要旨からは不明。 - 被験者数が3名と少ない点は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、language-prompted baseline が挙げられる。 - 同分野の定番として RT-1, RT-2, Octo などが考えられるが、要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Edward W. Staley, Connor O. Pyles, Rahul Hingorani, Frank Camargo, Griffin Milsap, Jared Markowitz, Matthew S. Fifer, Michael Wolmetz

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models rely strongly on language for describing task information, despite having multimodal inputs. We hypothesize that other modalities in the state space may present opportunities for supplemental task conditioning, which may be particularly relevant in cluttered or otherwise ambiguous scenes. We introduce two tuned models to test this hypothesis: (1) an electrophysiology-conditioned VLA (EC-VLA) that incorporates 8-channel electromyography envelopes as continuous conditioning input concatenated to the proprioceptive vector, and (2) a visually-annotated VLA (VA-VLA) that incorporates visual segmentation annotations to the image inputs. On a cube-selection task evaluated across three participants, EC-VLA matches a language-prompted baseline in uncluttered, in-distribution conditions and substantially outperforms it in cluttered, out-of-distribution scenes. Similarly, VA-VLA shows modest improvements over a language-prompted baseline in in-distribution scenes with substantial improvement in cluttered, out-of-distribution trials. Together, these results provide strong evidence for the potential benefit of task-conditioning beyond language.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI