操作学習2026/8/24arXiv:2608.22800

Triplet2Track: オブジェクト中心表現を用いた信頼性の高い長期的操作のための階層システム

Triplet2Track: A Hierarchical System with Object-Centric Representations for Reliable Long-Horizon Manipulation

長期的なロボット操作の信頼性を高めるため、人間の動画を活用し、高レベルのサブゴールをインスタンスに基づくトリプレットとして表現し、実行とオンライン再計画を行う閉ループ模倣学習システムを提案した。

詳しい要約

1. どんなもの？

Triplet2Track (TTS) は、不確実な環境下での長期的なロボット操作の信頼性を高めるための、閉ループの階層型模倣学習システムである。高レベルのサブゴールをインスタンスに基づくtripletとして表現し、それを連続的なトラッキングの事前情報に変換して実行し、観測からタスクの進捗を監視してオンラインで再計画する。人間のビデオを利用してロボット収集データへの依存を減らす。

2. 先行研究と比べてどこがすごい？

エンドツーエンドのVLAモデルはデータ集約的で不透明であり、診断や検証が難しいのに対し、TTSは階層的で解釈可能である。従来の階層的パイプラインは、計画が観測に弱く基づいており、低レベルのアクションとの整合性が弱く、オンラインのフィードバックなしに計算されるため、開ループ動作や幻覚を引き起こす問題があった。TTSは、サブゴールを観測に基づくtripletで表現し、実行時にトラッキングで監視し、再計画することで、これらの問題に対処している。

3. 技術・手法の肝は？

手法の肝は、高レベルのサブゴールをインスタンスに基づくtriplet（おそらく物体・関係・属性の組）として表現し、それを連続的なトラック事前分布に変換して実行すること。さらに、観測からタスクの進捗を監視し、オンラインで再計画する閉ループ機構を持つ。人間のビデオを利用してロボット収集データへの依存を減らす点も重要。

4. どうやって有効だと検証した？

多様な実世界の長期的タスクにおいて、平均成功率74.8%を達成し、オブジェクトレベルおよび構成的一般化をサポートすることを検証した。

5. 議論はある？

要旨からは、成功率が74.8%であることから、まだ失敗が25%以上あることが示唆されるが、具体的な限界や議論は要旨には記載されていない。また、人間のビデオ利用の効果や、triplet表現の詳細、再計画の頻度などは要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究は、エンドツーエンドのVLAモデルと階層的パイプラインである。具体的な論文名は不明だが、VLAモデル（Vision-Language-Action models）や階層的模倣学習、人間ビデオを利用したロボット学習に関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianxiang Liu, Gaojing Zhang, Chuan Wen, Qipeng Liu, Yuxuan Zhao, Ning Guo, Wenzhao Lian

分類: cs.RO, cs.AI

原文アブストラクト

Ensuring reliability in uncertain environments remains difficult for long-horizon robotic manipulation. End-to-end VLA models are data-heavy and opaque, making diagnosis and verification difficult. Hierarchical pipelines are more interpretable, but their plans are often weakly grounded in observations, weakly aligned with low-level actions, and computed without online feedback, leading to open-loop behavior and hallucinations. To address these issues, we introduce the Triplet-to-Track System (TTS), a closed-loop long-horizon imitation learning system that uses human videos to reduce reliance on robot-collected data. TTS represents high-level subgoals as instance-grounded triplets, translates them into continuous track priors for execution, and monitors task progress from observations for online replanning. Across diverse real-world long-horizon tasks, TTS achieves a 74.8\% average success rate and supports object-level and compositional generalization.

arXivで原文を読む →arXiv概要ページ