日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2611.23499

両腕協調のためのアクショントークン化BiCAT

BiCAT: Bimanual Coordination Action Tokenization

シェア:XThreadsFacebookLINEはてブBluesky

両腕で動きの表現を共有しつつ、左右の腕のトークンを相互注意で条件付けするアクショントークナイザを提案し、両腕マニピュレーションの成功率を向上させた。

詳しい要約

1. どんなもの?

- 両腕マニピュレーション向けの action tokenizer「BiCAT (Bimanual Coordination Action Tokenization)」を提案する研究。 - autoregressive VLA モデルにおいて、action tokenizer が policy とロボットのインターフェースを定義することに着目。 - 両腕で運動レパートリーを共有しつつ、相補的な役割で協調する性質を action 表現に取り込むことを狙う。 - 10 個の RoboTwin 2.0 タスクと 3 embodiment・6 実機タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存の多くの tokenizer は両腕を単一の連結 action vector として符号化し、両腕に共通する運動パターンが共有されず、腕間依存も各 token 内で絡み合ったまま。 - そのため policy が両側面を暗黙に学習する必要があった。 - BiCAT は腕間で運動表現を共有しつつ、各腕の token を相手腕に条件付けする点が異なる。 - 8 個の baseline 中最強のものに対し、simulation で平均 success を 17.6 percentage points 改善。

3. 技術・手法の肝は?

- 両腕で 1 つの motion representation を共有する。 - symmetric cross-arm attention により、各腕の token を相手腕に条件付け。 - joint decoder を用いる。 - policy は各腕の全 token を並列に予測し、左腕を先に生成し、それに条件付けて右腕を生成する。 - action chunk あたり 40.5 ms を要する。

4. どうやって有効だと検証した?

- 10 個の RoboTwin 2.0 タスクと、3 embodiment 上の 6 個の実世界タスクで評価。 - 比較した tokenizer の中で BiCAT が最高の success を達成。 - simulation では 8 baseline 中最強のものより平均 success が 17.6 percentage points 向上。 - 腕間の密接な協調を要するタスクで最大の改善。

5. 議論はある?

- 結果は、両腕協調をモデル化する自然な場所が action tokenizer であることを示唆すると論じている。 - 腕間で共有される運動表現と cross-arm 条件付けの両立が性能に寄与する可能性を示す。 - 具体的な限界や失敗事例、計算コスト以外の議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される既存の連結 action vector 型 tokenizer や 8 個の baseline の詳細。 - autoregressive VLA モデルおよび next-token 目的による action tokenization の代表的手法。 - RoboTwin 2.0 ベンチマーク。 - symmetric cross-arm attention や joint decoder に関連する bimanual manipulation 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuanwei Liu, Guipu Cao, Zhongyi Luo, Jiafei Duan

分類: cs.RO

原文アブストラクト

Autoregressive vision-language-action (VLA) models predict discrete action tokens with the next-token objective of their vision-language backbone, so the action tokenizer defines the interface between the policy and the robot. In bimanual manipulation, the two arms share a repertoire of movements yet coordinate through complementary roles, and an action representation should capture both. However, most existing tokenizers encode both arms as a single concatenated action vector, in which motion patterns common to the two arms are not shared and cross-arm dependencies remain entangled within each token. The policy must therefore learn both aspects implicitly. We propose Bimanual Coordination Action Tokenization (BiCAT), which shares one motion representation across arms while conditioning each arm's tokens on its partner through symmetric cross-arm attention and a joint decoder. The policy then predicts all tokens of each arm in parallel, generating the left arm first and the right arm conditioned on it. Across ten RoboTwin 2.0 tasks and six real-world tasks on three embodiments, BiCAT achieves the highest success among the compared tokenizers. In simulation, it improves mean success by 17.6 percentage points over the strongest of eight baselines, with the largest gains on tasks that require close coordination between the arms, while requiring only 40.5 ms per action chunk. These results suggest that the action tokenizer is a natural place to model bimanual coordination.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI