マニピュレーション2026/9/2arXiv:2609.02653v1

HINT: 長期的ロボット操作のための人間意図の注入

HINT: Human-Intent Inception for Long-Horizon Robot Manipulation

本論文は、長期的なロボット操作タスクにおいて、人間の意図を視覚的・注意機構を通じて行動ポリシーに伝達するフレームワークHINTを提案し、意図理解とタスク成功率を向上させる。

詳しい要約

1. どんなもの？

HINT (Human-INTent INcepTion) は、長期的なロボット操作タスクにおいて、人間の意図を視覚的注意として行動ポリシーに注入するエージェントフレームワーク。高密度で変化する視覚入力と疎な言語指示の下で、視覚的ショートカットに惑わされずに人間の意図に従った行動を実現する。

2. 先行研究と比べてどこがすごい？

既存のVLAモデルや行動ポリシーは、視覚的相関が意味的意図を支配し、視覚的ショートカットに従いがちで、高密度な視覚入力と疎な言語指示の下での高レベルな知的行動が困難。HINTは、意味的意図の変化が操作パターンの遷移でのみ起こるという人間の操作原理に着想を得て、パターン遷移時のみ意味推論を行い、継続的制御は物体と手の関係の変化に依存するという点を活用する点が新しい。

3. 技術・手法の肝は？

HINTは、操作パターンの遷移時のみ意味推論を呼び出して現在のサブタスクとターゲットを解決し、その後、マルチビューグラウンディングと視覚トラッキングを通じてそのコミットメントを維持する。視覚インターフェースとして、画像空間のセマンティックハイライトと注意優先注入の2つを探求し、基盤行動モデルに追加の学習可能パラメータを導入せずに追跡された意図を行動ポリシーに伝達する。

4. どうやって有効だと検証した？

3つの長期的タスクとそのOOD変種で実験を行い、2つの基盤ポリシーにわたって、意図理解、タスク進行、エンドツーエンド成功率を大幅に改善し、低遅延制御を維持することを示した。

5. 議論はある？

要旨からは、HINTの限界や潜在的な欠点についての議論は不明。また、視覚インターフェースの2つの方法の比較や、どのような場合にどちらが有効かなどの詳細も不明。

6. 次に読むべき論文は？

要旨で参照されているVLAモデルや行動ポリシー、および関連する人間の操作原理に基づく研究。具体的には、Vision-Language Action models、Robot Manipulation、Long-Horizon Task Planning、Visual Grounding、Visual Trackingなどの分野の論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyu Mei, Haojie Xu, Shihao Jin, Zibo Dai, Qihao Cheng, Zhengrui Lv, Hongjie Fang, Shirun Tang, Guang Chen, Xinyue Zhao, Huiliang Shen, Zaixing He

分類: cs.RO

原文アブストラクト

Humans can perform complex manipulations given a simple intent through an overall instruction, while continuously adapting to evolving visual observations. However, current vision-language action (VLA) models and other action policies struggle to realize this high-level intelligent behavior under dense, evolving visual inputs and sparse language guidance. Visual correlations can then dominate semantic intent, leading actions to follow visual shortcuts rather than human goals. We present HINT (Human-INTent INcepTion), an agentic framework inspired by the human manipulation principles: semantic intent changes sparsely at manipulation-pattern transitions, whereas continuous control primarily depends on the evolving object-hand relationship. HINT invokes semantic reasoning only at pattern transitions to resolve the current subtask and target, then maintains this commitment through multi-view grounding and visual tracking. We explore two visual interfaces-image-space semantic highlighting and attention-prior injection-to communicate the tracked intent to the action policy without introducing additional trainable parameters into the foundation action model. Experiments across three long-horizon tasks and out-of-distribution variants show that HINT substantially improves intent understanding, task progress, and end-to-end success across two foundation policies while preserving low-latency control.

arXivで原文を読む →arXiv概要ページ