日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.12157

インスタンス固定型インタラクション証拠：人間の指差しと操作に基づくロボット計画の接地

Instance-anchored interaction evidence: Grounding robot plans in human pointing and handling

シェア:XThreadsFacebookLINEはてブBluesky

人間の指差しや物体操作の映像から、対象物をインスタンス単位で追跡・同定し、その証拠に基づいてロボットの行動計画を生成する手法を提案。暗黙の意図を含むタスクで既存の大規模視覚言語モデルを大きく上回る成功率を達成した。

詳しい要約

1. どんなもの？

- ロボットが人間の指示を実行する際、指差しや物の取り扱いといった行動を根拠に計画を立てる手法「instance-anchored interaction evidence (IAE)」を提案。 - 最終シーンの物体を公開識別子に登録し、後方マスク伝播で動画全体の同一性を保持。 - 手、前腕、インスタンス間の幾何関係を各フレームで記述し、タスク結果のみで訓練したevidence networkでスコアリング。 - 指差しタスクでは文法制約付き動的計画法と構造化損失で物体-目的地プログラムをデコード。 - 記号プログラムが参照曖昧性解消とエピソードタスクを学習なしで処理。

2. 先行研究と比べてどこがすごい？

- 32B vision-language model (VLM) と比較し、暗黙意図タスクで計画成功率64.2%対27.5%、厳密成功率49.7%対15.4%。 - 復元、反転、模倣タスクでも46.4%対27.0%と、タスク特化訓練なしで優位。 - 同じ知覚オーバーレイ、同じ32フレーム、前方追跡、同じラベルで訓練した関係モデルではこの利得を説明できないことを対照実験で確認。 - IAEの証拠をテキストで与えた同じ言語モデルは57.4%に達し、利得の大部分はインスタンス固定証拠に由来。 - 明示的プログラムは6.8ポイント追加するが、コストはわずか。

3. 技術・手法の肝は？

- 最終シーンの全物体を公開識別子に登録し、後方マスク伝播で動画を通じて同一性を維持。 - 各フレームを手、前腕、インスタンス間の幾何関係で記述。 - タスク結果のみから訓練されたevidence networkがインスタンスをスコアリング。 - 指差しタスクでは文法制約付き動的計画法と構造化損失を用いて物体-目的地プログラムをデコード。 - 記号プログラムが参照曖昧性解消とエピソードタスクを学習なしで処理。

4. どうやって有効だと検証した？

- 1,255件のWatchActベンチマークリクエストで評価。 - 記号実行によるスコアリングを実施。 - 暗黙意図タスクで計画成功率64.2%、厳密成功率49.7%を達成。 - 復元、反転、模倣タスクで46.4%の成功率。 - 対照実験として同じ知覚オーバーレイ、同じ32フレーム、前方追跡、同じラベルで訓練した関係モデルを比較。 - IAEの証拠をテキストで与えた言語モデルが57.4%に達することを確認。

5. 議論はある？

- 指差しが最も難しいケースであり、厳密成功率は16.9%にとどまる。 - 利得の大部分はインスタンス固定証拠から得られ、明示的プログラムは6.8ポイント追加するがコストはわずか。 - 同じ知覚オーバーレイ、同じ32フレーム、前方追跡、同じラベルで訓練した関係モデルでは利得を説明できない。 - コードは公開されている。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 32B vision-language model (VLM)、WatchAct benchmark。 - 関連手法: 後方マスク伝播、文法制約付き動的計画法、構造化損失、evidence network、記号プログラム。 - 同分野の定番: 視覚言語モデル、物体追跡、人間行動認識。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinliang Xiao, Bowen Yang, Wenjing Zhang, Li Yang, Wei Zhou

分類: cs.RO

原文アブストラクト

A robot that assists people must often act on what a person has shown rather than said: which of several identical cartons was pointed at, or which box was handled. The plan is executed from the final scene, whereas the evidence occurs earlier, possibly on objects that have since moved. We propose instance-anchored interaction evidence (IAE), which registers every object of the final scene to its public identifier, keeps each identity through the video by backward mask propagation, and describes every frame by the geometry between hands, forearms and these instances. An evidence network trained only from task outcomes scores the instances. For pointing tasks, a grammar-constrained dynamic program trained with a structured loss decodes object-destination programs; symbolic programs handle reference disambiguation and, without learning, episodic tasks. On 1,255 WatchAct benchmark requests, scored by symbolic execution, IAE reaches 64.2% plan success on implicit-intent tasks against 27.5% for a 32B vision-language model (strict success 49.7% against 15.4%), and 46.4% against 27.0% on restoration, reversal and imitation without task-specific training. Controls with the same perception overlays, the same 32 frames, forward tracking, or a relation model trained on the same labels do not explain the gain. Given IAE's evidence as text with its meaning explained, the same language model reaches 57.4%: most of the gain comes from the instance-anchored evidence, and the explicit programs add 6.8 points at a fraction of the cost. Pointing remains the hardest case, with 16.9% strict success. The code is available at https://github.com/WeiZhou96/iae-watchact.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI