日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.31013

ロボットシステムのためのマルチツール選択：意味検索とLLMの比較

Multi-Tool Selection for Robotic Systems: Comparing Semantic Retrieval and LLM

シェア:XThreadsFacebookLINEはてブBluesky

自然言語指示から必要なロボットツールの最小完全集合を選ぶ「ツールルーティング」について、ChromaDBベースの3手法と1200億パラメータLLMを比較し、精度と遅延のトレードオフを明らかにした。

詳しい要約

1. どんなもの？

- 自然言語でロボットシステムを操作する際の tool routing（要求を満たす最小の完全な実行可能 capability 集合の選択）を扱う研究 - 4つの routing 戦略を比較：ChromaDB ベースの3手法（fixed-threshold retrieval、relative-distance retrieval、clause-aware aggregated retrieval）と cloud-hosted 120-billion-parameter LLM baseline - 164件の手動アノテーション済み prompt を3つの複雑度レベル（単一 tool 要求から3つ以上を要する compound 要求まで）で評価 - 評価指標は exact-match accuracy、completeness、precision、completeness-weighted composite score、routing latency

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的比較は要旨からは不明 - 本研究内では、retrieval-only 手法の中で CDB-v3 が macro-average score 0.7822 と最良 - 大規模モデル baseline は 0.8869 と routing 品質で上回る - 一方 CDB-v3 は latency が大幅に低く、cloud connectivity 不要でローカル展開可能という利点を示す - 品質と latency の trade-off を明示した点が特徴

3. 技術・手法の肝は？

- ChromaDB ベースの3手法を段階的に改良：fixed-threshold retrieval、relative-distance retrieval、clause-aware aggregated retrieval（CDB-v3） - compound 命令に対し、clause 単位で集約することで必要 sensing/monitoring capability の欠落や不要 tool の過剰選択を抑える狙い - 比較対象は cloud-hosted 120-billion-parameter LLM baseline による直接選択 - 評価は複雑度別の prompt 集合と複数指標（exact-match、completeness、precision、composite、latency）

4. どうやって有効だと検証した？

- 164件の手動アノテーション済み prompt を3つの複雑度レベルに分類して評価 - exact-match accuracy、completeness、precision、completeness-weighted composite score、routing latency を指標として使用 - CDB-v3 が retrieval-only 手法中で macro-average 0.7822 と最良、LLM baseline は 0.8869 - latency とローカル展開性の観点で CDB-v3 の実用性を示す

5. 議論はある？

- LLM は routing 品質で優位だが、CDB-v3 は latency が大幅に低く cloud 不要 - privacy-sensitive、connectivity-constrained、resource-constrained なロボットシステム向けに品質-latency trade-off を提示 - compound 命令での不完全選択（sensing/monitoring 欠落）や過剰選択（不要 tool 露出）の課題に言及 - 具体的な限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている ChromaDB ベース retrieval 手法（fixed-threshold retrieval、relative-distance retrieval、clause-aware aggregated retrieval） - cloud-hosted 120-billion-parameter LLM baseline に関する研究 - 関連する一般手法として semantic retrieval、LLM-based tool selection、natural-language robot interfaces の文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Miguel Sousa, Luis Ramos Pinto, João P. Matos-Carvalho

分類: cs.RO, cs.AI

原文アブストラクト

Natural-language interfaces allow users to command robotic systems without interacting directly with mission planners or robotics middleware. Their reliable use depends on robot tool routing, defined here as the selection of the smallest complete subset of predefined executable capabilities required to satisfy a request. This task is particularly difficult for compound instructions, where incomplete selection may omit necessary sensing or monitoring capabilities, while excessive selection may expose irrelevant tools. We compare four routing strategies: three progressively refined ChromaDB-based methods - fixed-threshold retrieval, relative-distance retrieval, and clause-aware aggregated retrieval - and a cloud-hosted 120-billion-parameter language-model baseline. The methods are evaluated on 164 manually annotated prompts organised into three complexity levels, from direct single-tool requests to compound requests requiring at least three tools. Using exact-match accuracy, completeness, precision, a completeness-weighted composite score, and routing latency, CDB-v3 achieves the best macro-average score among the retrieval-only methods, with 0.7822, compared with 0.8869 for the large-model baseline. Although the LLM provides higher routing quality, CDB-v3 exhibits substantially lower latency and can be deployed locally without requiring cloud connectivity. These results identify a quality-latency trade-off between direct large-model selection and clause-aware semantic retrieval for privacy-sensitive, connectivity-constrained, and resource-constrained robotic systems.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI