日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.40245

STARS: 時空間ダイナミクスから人間-ロボット相互作用における社会的表現へ

STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

社会的ロボットナビゲーションの場面理解を評価するVQAベンチマークSocialNav-SUBを提案し、最先端VLMが人間やルールベース手法に及ばないことを示した。

詳しい要約

1. どんなもの？

- 本論文は、社会ロボットナビゲーションにおけるVision-Language Models (VLMs)のシーン理解能力を評価するためのベンチマーク「SocialNav-SUB」を提案する。 - SocialNav-SUBは、実世界の社会ロボットナビゲーションシナリオにおけるVisual Question Answering (VQA)データセットとベンチマークであり、空間的、時空間的、社会的推論を必要とするタスクを含む。 - 統一フレームワークを提供し、VLMsを人間およびルールベースのベースラインと比較評価する。 - 最先端のVLMsを用いた実験により、現在のVLMsの社会シーン理解における重要なギャップを明らかにする。

2. 先行研究と比べてどこがすごい？

- 先行研究では、VLMsの社会ロボットナビゲーションへの応用が探索されているが、複雑な社会ナビゲーションシーン（エージェント間の時空間関係や人間の意図の推論など）を正確に理解できるかを体系的に評価した研究は存在しない。 - 本論文は、SocialNav-SUBを導入することで、VLMsが安全で社会的に準拠したナビゲーションに必要な条件を満たす能力を初めて体系的に評価する。 - 人間およびルールベースのベースラインと比較する統一フレームワークを提供し、VLMsの性能を多角的に分析する点が新しい。

3. 技術・手法の肝は？

- SocialNav-SUBは、実世界の社会ロボットナビゲーションシナリオにおけるVQAデータセットとベンチマークである。 - 空間的、時空間的、社会的推論を必要とするVQAタスクを含み、VLMsを人間およびルールベースのベースラインと比較評価するための統一フレームワークを提供する。 - 最先端のVLMsを用いた実験を通じて、社会シーン理解の能力を評価する。

4. どうやって有効だと検証した？

- 最先端のVLMsを用いた実験を実施し、人間およびルールベースのベースラインと比較した。 - その結果、最高性能のVLMは人間の回答と一致する確率が有望であるものの、より単純なルールベースアプローチや人間のコンセンサスベースラインを下回る性能を示した。 - これにより、現在のVLMsの社会シーン理解における重要なギャップが明らかになった。

5. 議論はある？

- 実験結果から、現在のVLMsは社会ナビゲーションシーンの理解において、ルールベースや人間のベースラインに劣ることが示され、社会シーン理解に重要なギャップがあることが議論されている。 - このベンチマークは、社会ロボットナビゲーションのための基盤モデルに関するさらなる研究を促進し、VLMsを実世界の社会ロボットナビゲーションのニーズに合わせる方法を探るフレームワークを提供する。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてVision-Language Models (VLMs)やVisual Question Answering (VQA)が挙げられる。 - 同分野の定番として、社会ロボットナビゲーションにおけるルールベースアプローチや人間のコンセンサスベースラインが考えられる。 - 具体的な次に読むべき論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nathan Tsoi, Michael J. Munje, Tejas Oberoi, Rishab Maheshwari, Pengen Zheng, Tanush Chauhan, Peter Stone, Joydeep Biswas

分類: cs.RO, cs.LG

原文アブストラクト

Robot navigation in dynamic, human-centered environments requires socially-compliant decisions grounded in robust scene understanding. Recent Vision-Language Models (VLMs) exhibit promising capabilities such as object recognition, common-sense reasoning, and contextual understanding, capabilities that align with the nuanced requirements of social robot navigation. However, it remains unclear whether VLMs can accurately understand complex social navigation scenes (e.g., inferring the spatial-temporal relations among agents and human intentions), which is essential for safe and socially compliant robot navigation. While some recent works have explored the use of VLMs in social robot navigation, no existing work systematically evaluates their ability to meet these necessary conditions. In this paper, we introduce the Social Navigation Scene Understanding Benchmark (SocialNav-SUB), a Visual Question Answering (VQA) dataset and benchmark designed to evaluate VLMs for scene understanding in real-world social robot navigation scenarios. SocialNav-SUB provides a unified framework for evaluating VLMs against human and rule-based baselines across VQA tasks requiring spatial, spatiotemporal, and social reasoning in social robot navigation. Through experiments with state-of-the-art VLMs, we find that while the best-performing VLM achieves an encouraging probability of agreeing with human answers, it still underperforms simpler rule-based approach and human consensus baselines, indicating critical gaps in social scene understanding of current VLMs. Our benchmark sets the stage for further research on foundation models for social robot navigation, offering a framework to explore how VLMs can be tailored to meet real-world social robot navigation needs. An overview of this paper along with the code and data can be found at https://larg.github.io/stars.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI