SocialVLA：人間の反応を利用したVLAマニピュレーションの失敗検知と回復のための社会的知覚ゲートウェイ

VLA（Vision-Language-Action）ポリシーによるロボットマニピュレーション実行中に、人間観察者の自発的反応（音声・表情・発話）を検出し、失敗の完了前に介入信号へ変換するローカルでポリシー非依存の社会知覚ゲートウェイ「SocialVLA」を提案。 - 目的：VLAの自己エラー認識を補完し、実行時介入と参加者主導の回復を実現 - 構成：因果的パラリンギスティック音声検出、視覚反応認識、明示的停止フレーズ、ロボット関連性推定 - 非同期のfirst-event fusionでVLAホールドをトリガ、別の音声チャネルで修正指示を取得 - 対象：Unitree G1での物理マニピュレーション、15名の参加者

従来のVLAは自己エラーを認識できず失敗するが、SocialVLAは人間の自発的反応をランタイム介入信号として利用する点が新しい。 - ポリシー非依存でローカルに動作し、既存VLAに後付け可能 - 音声・視覚・発話・関連性推定を統合し、最初の十分に確信度の高い信号でVLAをホールド - 関連性推定により誤停止エピソードを100から57に削減し、精度を60.5%から69.8%に向上 - 未見参加者への前向き展開で59.5% recall、91.7% precisionを達成

因果的パラリンギスティック音声検出、視覚反応認識、明示的停止フレーズ、ロボット関連性推定を組み合わせる。 - 非同期first-event fusion：最も早く十分に確信度の高い信号でVLAホールドをトリガ - 別の音声チャネル：参加者主導の継続・再開・指示修正のための言語的修正を取得 - 関連性推定：ロボットに関連する反応のみを選別し誤停止を低減 - ローカルでポリシー非依存のゲートウェイとして実装

Unitree G1での物理マニピュレーションで15名の参加者を対象に評価。 - 238件の介入価値のあるエピソードと1.038時間の非介入行動を注釈付け - 凍結オフラインリプレイ：recall 54.6%、precision 69.5% - 未フィルタの音声映像融合：recall 64.3% - 関連性推定：誤停止を100から57に削減、precisionを60.5%から69.8%に向上 - 未見の16人目への前向き展開：recall 59.5%、precision 91.7% - レイテンシ：検出器から融合まで中央値47.9 ms、VLAゲートから物理ホールドまで336 ms、反応開始からホールドまで1.021 s

要旨からは、限界や失敗事例、倫理的議論、一般化可能性に関する明示的な議論は不明。 - 評価は15名の参加者とUnitree G1に限定 - 未見参加者への前向き展開でprecisionは高いがrecallは59.5%にとどまる - 関連性推定の導入で誤停止は減少したが依然57件残る - レイテンシは報告されているが、実運用上の受容性や安全性の議論は要旨からは不明

要旨で参照・比較されている研究は明示されていない。関連手法として、VLA（Vision-Language-Action）ポリシー、パラリンギスティック音声検出、視覚反応認識、first-event fusion、ロボット関連性推定が挙げられる。同分野の定番として、RT-2、OpenVLA、Diffusion PolicyなどのVLA・模倣学習手法や、human-robot interactionにおける意図認識・失敗検出の研究を次に読むべき。