日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.24559

SocialCoAct：VLM搭載ヒューマノイドロボットのための一人称視点ソーシャル協調行動の実現とベンチマーク

SocialCoAct: Enabling and Benchmarking Egocentric Social Co-Action for VLM-Based Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の観察と対話履歴から発話と行動系列を生成し発話区間と行動を対応付けて実機ヒューマノイドで実行するVLMエージェントと、多人数対話記録に基づく評価ベンチマークを提案した論文。

詳しい要約

1. どんなもの？

- ヒューマノイドロボットが社会的相互作用に参加するための枠組み - VLM-based egocentric social co-action を end-to-end の agent タスクとして定式化 - SocialCoAct-Agent: egocentric 観測と対話履歴から発話応答と atomic action 列を生成 - 各 action を対応する utterance span に align し、MuJoCo と実機ヒューマノイドで実行 - 評価用に SocialCoAct-Bench を構築 - 自然な多人数相互作用の連続 egocentric 記録から作成 - 423 問の人手検証済み多肢選択問題 - 3 サブタスク: LEU, SIU, CAP

2. 先行研究と比べてどこがすごい？

- 既存手法は pre-generated speech を連続 motion trajectory に直接写像 - 複雑な社会環境への認識が限定的 - 明示的な high-level semantic action planning を欠く - 本研究の違い - egocentric social co-action を end-to-end agent タスクとして定式化 - 発話と atomic action 列を統合的に生成し、action と utterance span を align - 社会環境理解と行動計画を VLM で扱う枠組みを提示 - ベンチマーク SocialCoAct-Bench を新規構築

3. 技術・手法の肝は？

- SocialCoAct-Agent が egocentric 観測と dialogue history を入力 - 出力は verbal response と atomic action sequence - 各 action を対応する utterance span に align - 生成された behavior を MuJoCo と physical humanoid robot で実行 - ベンチマーク SocialCoAct-Bench - 連続 egocentric 記録から構築 - 3 サブタスク: Long Episode Understanding (LEU), Speaker Intention Understanding (SIU), Coordinated Action Planning (CAP) - 423 問の人手検証済み多肢選択問題

4. どうやって有効だと検証した？

- SocialCoAct-Bench 上で closed-source と open-weight の多様な VLM を評価 - 汎用モデルと egocentric モデルを含む - 最高 overall accuracy は 77.54% - hard subset の accuracy は 46.51% にとどまる - Extended reasoning の効果を検証 - Qwen3-VL-2B で +19.62 ポイント - Qwen3-VL-4B で +17.02 ポイント - ただし inference throughput が 53.6× と 20.2× 低下 - Visual-input ablation を実施 - visual context の利得はモデル間で異なる - 生成 behavior を MuJoCo と実機ヒューマノイドで実行

5. 議論はある？

- hard subset の accuracy 46.51% は現行 VLM の限界を示す - Extended reasoning は精度を改善するが inference throughput を大幅に低下 - 53.6× と 20.2× の低下 - Visual context の利得がモデル間で一様でない - 実機ヒューマノイドでの実行可能性は示すが、詳細な議論は要旨からは不明 - codebase と benchmark は出版時に公開予定

6. 次に読むべき論文は？

- Qwen3-VL-2B, Qwen3-VL-4B - Extended reasoning を用いた VLM 推論手法 - Egocentric モデル - MuJoCo - 関連する VLM-based humanoid agent 研究(要旨に個別の参照論文名は記載なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiancong Ma, Kun Li, Jin Jiang, Shengcai Liao

分類: cs.RO

原文アブストラクト

Enabling humanoid robots to participate effectively in social interactions is important for their integration into human-centered environments. Existing methods, however, typically map pre-generated speech directly to continuous motion trajectories but have limited awareness of complex social environments and lack explicit high-level semantic action planning. We introduce SocialCoAct, a unified agent-centered framework for VLM-based egocentric social co-action. We formulate egocentric social co-action as an end-to-end agent task and develop SocialCoAct-Agent, which transforms egocentric observations and dialogue history into verbal responses and atomic action sequences, aligns each action with its corresponding utterance span, and executes the resulting behaviors in MuJoCo and on a physical humanoid robot. To evaluate the VLM capabilities required by this task, we construct SocialCoAct-Bench from continuous egocentric recordings of natural multi-party interactions. The benchmark comprises 423 human-verified multiple-choice questions across three subtasks: Long Episode Understanding (LEU), Speaker Intention Understanding (SIU), and Coordinated Action Planning (CAP). Across a diverse set of closed-source and open-weight VLMs, including general and egocentric models, the highest overall accuracy is 77.54%, while accuracy on the hard subset reaches only 46.51%. Extended reasoning improves Qwen3-VL-2B and Qwen3-VL-4B by 19.62 and 17.02 percentage points, respectively, but reduces inference throughput by 53.6$\times$ and 20.2$\times$. Visual-input ablations further show that the benefits of visual context vary across models. SocialCoAct provides a foundation for developing and evaluating VLM-based humanoid agents that coordinate context-aware speech and action in complex social interactions. The codebase and benchmark will be made publicly available upon publication.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI