マニピュレーション2026/8/5arXiv:2608.04425v1

SSC: 双腕操作ラベリングのための検証可能な構造化表現

SSC: A Verifiable Structured Representation for Bimanual Manipulation Labelling

長期的な操作デモを意味的なサブタスクに分割するための新しい構造化表現「Structured Subtask Chain (SSC)」を提案。自然言語の柔軟性とテンプレートの厳格さを橋渡しし、状態遷移ルールによる自動検証と未指定フィールドの補完を実現する。

詳しい要約

1. どんなもの？

本論文は、双腕操作デモンストレーションの長期タスクを短い意味的セグメントに分解するための新しい表現形式である Structured Subtask Chain (SSC) を提案している。SSC は、各サブタスクを Structured Subtask Template (SST) として記録し、主語・述語・目的語などのコアな動作要素、副詞修飾語などの柔軟な条件、ベースモーションとアーム動作を分離したフィールド、および after-state scene graph を含む。SSC は、自然言語記述の可読性とテンプレート形式の検証容易性を両立することを目指している。

2. 先行研究と比べてどこがすごい？

先行研究では、自然言語によるサブタスクラベルは読みやすいが言語的ばらつきが大きく自動検証が難しい。一方、BEHAVIOR-1K の skill_annotation のような rigid なテンプレート形式は言語的に過分割であり、可読性と注釈の一貫性を損なう。SSC はこれらの極端なアプローチの橋渡しをする点が新しい。

3. 技術・手法の肝は？

SSC の核となるのは、SST の構造と、それに基づく3つの vision-language 支援機能である。SST はコア動作要素（subject, predicate, object）、柔軟な条件（空間的・道具的などの副詞修飾語）、ベースモーションとアーム動作を分離したフィールド、after-state scene graph を格納する。支援機能は、SST を自然言語にレンダリングする、4つの状態遷移ルールに基づいてチェーン全体を検証する、クエリ解決カスケードにより未指定フィールドを補完する、の3つである。

4. どうやって有効だと検証した？

BEHAVIOR-1K データセット（50タスク、各タスク3エピソード、合計2,357の注釈付きアクションセル）を用いて、パイプラインをインスタンス化し、論理検証とコンテンツ補完を実施した。また、13の最先端の vision-language (VL) モデルを候補検証器として評価し、注釈の異常を報告した。

5. 議論はある？

要旨からは、SSC の表現力と検証可能性のトレードオフや、VL モデルの検証性能の限界などについての議論が示唆されるが、具体的な議論内容は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている BEHAVIOR-1K データセットに関する論文、および vision-language モデルによる検証手法に関する研究が関連する。具体的には、BEHAVIOR-1K の元論文や、VL モデルのベンチマークに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yupu Lu, Shuang Wu, Sihan Chen, Ruihua Han, Yichen Zhang, Marcus Kalander, Jia Pan

分類: cs.RO

原文アブストラクト

Subtask labels decompose a long-horizon manipulation demonstration into shorter semantic segments for policy training and evaluation. Natural language descriptions are easy to read, but their linguistic variability makes automatic verification difficult. Rigid template formats, such as BEHAVIOR-1K's skill_annotation, are linguistically over-segmented, hindering both readability and annotation consistency. We propose the Structured Subtask Chain (SSC), a state-transition representation that bridges these extremes. A demonstration is a sequence of Structured Subtask Template (SST) entries. Each SST stores core action components (subject, predicate, object), flexible conditions (adverbial modifiers such as spatial or instrumental phrases), a base-motion field separate from arm actions, and an after-state scene graph. Built on this format, SSC supports three vision-language assisted functions: rendering SSTs as natural language, checking the assembled chain against four state-transition rules, and completing underspecified fields through a query resolution cascade. We instantiate the pipeline on BEHAVIOR-1K (50 tasks, 3 episodes per task, 2,357 annotated action cells) for logic verification and content completion, evaluating 13 selected state-of-the-art VL models as candidate verifiers and reporting labelling anomalies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧