日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
セグメンテーションarXiv:2610.31801

KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用

KiRoSe: Using Kinematic Data for Efficient Segmentation of Robot Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

ロボット実演の運動学データを離散的な『スパース動作トークン』に変換し、言語モデルで解釈することで、実演の時系列・意味的セグメンテーションを自動化するフレームワークを提案。

詳しい要約

1. どんなもの？

- ロボット実演データを時間的・意味的な下位区間に自動分割するフレームワーク KiRoSe (Kinematics for Robot Segmentation) - マルチカメラ映像ではなくロボットの kinematic data に着目 - Sparse Motion Tokens (SMTs) と呼ぶ離散的な運動語彙を学習し、open language model で解釈 - 学習・クリーニング・検索・分析のための segmentation 自動化を狙う

2. 先行研究と比べてどこがすごい？

- 従来は人手による segmentation が多く、退屈で誤りやすい - MLLMs による自動化は raw multi camera video 入力が高コストで context window を圧迫 - KiRoSe は kinematic data の companion stream に絞ることでこの問題を回避 - 人手ラベル付き segmentation に対し F1 品質で baseline を大きく上回る - 未見の robot embodiments や egocentric human motion へ zero shot 転移 - language model の open vocabulary knowledge を保持

3. 技術・手法の肝は？

- 古典的 entropy coding (Huffman coding 等) の考え方に着想: 頻出シンボルをよりコンパクトに表現 - 繰り返し現れる時間的に局所化された運動パターン(kinematic events)を SMTs で表現 - kinematic trajectories を temporal segment supervision 付きで encoding し、特徴を quantizing して SMTs を学習 - 得られた token sequences を解釈するよう open language model を、利用可能になりつつある robot demonstration subtask annotations で supervision

4. どうやって有効だと検証した？

- 人手ラベル付き segmentation との比較で F1 品質を評価 - baseline segmentation 手法と比較し大幅に上回ることを確認 - 未見の robot embodiments と egocentric human motion への zero shot 転移を検証 - language model の open vocabulary knowledge の保持を確認 - 未見ロボット上での task progress tracking と action reversal 検出も確認

5. 議論はある？

- 要旨からは不明(具体的な限界や失敗ケースの議論は記述なし) - 映像ではなく kinematic data に依存する設計の汎用性・制約は要旨からは不明 - subtask annotations への依存度や annotation 品質の影響は要旨からは不明

6. 次に読むべき論文は？

- Huffman coding など classical entropy coding の関連文献 - MLLMs を用いた robot demonstration segmentation の先行研究 - Sparse Motion Tokens (SMTs) に関連する kinematic trajectory encoding / quantization 手法 - open language model による subtask 解釈の関連研究 - 詳細は KiRoSe の website (https://berkeleyautomation.github.io/kirose/) を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuangyu Xie, Kaiyuan Chen, Muhammad Zubair Irshad, Richard Cheng, Sergey Zakharov, Ken Goldberg

分類: cs.RO

原文アブストラクト

Segmenting robot demonstration data into disjoint temporal and semantic subsegments is valuable for learning, cleaning, retrieval, and analysis. Segmentation is often performed manually in a tedious and error prone process. Multimodal Large Language Models (MLLMs) have the potential for automating this process, but directly ingesting raw multi camera video streams into MLLMs can be costly and can quickly exhaust context windows. In this paper, we introduce KiRoSe (Kinematics for Robot Segmentation), a novel framework that focuses on the companion stream of robot kinematic data. Inspired by the principle of classical entropy coding, such as Huffman coding, where frequently occurring symbols are represented more compactly, we propose Sparse Motion Tokens (SMTs), a discrete kinematic vocabulary designed to compactly represent recurring, temporally localized motion patterns, which we refer to as kinematic events. SMTs are learned by encoding kinematic trajectories with temporal segment supervision and quantizing the resulting features. We use increasingly available robot demonstration subtask annotations to supervise an open language model to interpret the resulting token sequences. Evaluation against human labeled segmentation shows that KiRoSe can substantially outperform baseline segmentation methods in F1 quality and transfers zero shot to unseen robot embodiments and egocentric human motion, while preserving the language models open vocabulary knowledge. Beyond segmentation, KiRoSe tracks task progress on an unseen robot and detects when an action is being reversed.(website: https://berkeleyautomation.github.io/kirose/)

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI