私たちが見抜ける嘘：身体的社会的相互作用におけるVLMエージェントによる言語・非言語連携欺瞞

本論文は、LLM/VLMエージェントによる戦略的欺瞞を、身体化された社会的相互作用の中で研究するための新しいテストベッドとハーネスを提案している。具体的には、3DマルチモーダルなAmong UsサンドボックスであるMineAmongUsを導入し、インポスターエージェントが言語的・非言語的行動を組み合わせてクルーメイトを欺く環境を提供する。また、構成可能なVLMエージェントハーネスARIAを提案し、5つの認知コンポーネントのアブレーション軸を提供する。さらに、欺瞞の分類学に基づくアトムおよびアークレベルのアノテーションスキームを提案し、LLM-as-a-Judgeを用いて大規模に運用する。

既存の社会的推理ゲームのテストベッドはテキストのみで、単一の固定エージェント構成で実行され、非言語的な感覚運動チャネルを欠いている。これに対し、本論文は3Dマルチモーダル環境を導入し、言語と非言語の両方の欺瞞を扱う点で新しい。また、観察された行動がモデル自体によるものか、周囲のハーネスによるものかを曖昧にする問題に対処するため、構成可能なハーネスARIAを提案している。

手法の肝は、MineAmongUs環境、ARIAハーネス、アノテーションスキームの3つの要素にある。ARIAは5つの認知コンポーネントのアブレーション軸を提供し、モデルの行動に対する各コンポーネントの寄与を分析可能にする。アノテーションスキームは欺瞞の分類学に基づき、アトムとアークのレベルで行動をラベル付けし、LLM-as-a-Judgeを用いて人間に近いラベル付けを実現する。

有効性の検証は、VLMエージェントが言語的・非言語的欺瞞を組み合わせてインポスター勝利を追求することを実証し、非言語チャネルが勝利へのより決定的な貢献要因であることを示した。これは、ハーネスのアブレーションとクロスVLM評価の両方で確認された。また、LLM-as-a-Judgeのアトムラベリングが人間に近い一致を示した。

議論としては、非言語チャネルが言語チャネルよりも勝利に決定的であるという発見は、欺瞞研究における非言語的手がかりの重要性を強調している。しかし、要旨からは、この結果の一般化可能性や、異なる環境やタスクでの適用可能性についての議論は不明である。また、LLM-as-a-Judgeの使用に関する潜在的なバイアスや限界についても要旨からは不明。

要旨で参照されている関連研究としては、社会的推理ゲームにおける欺瞞の研究、LLM/VLMエージェントのアライメントと安全性に関する研究、欺瞞の分類学に関する研究が挙げられる。具体的な論文名は要旨にないため、同分野の定番として、"Social Deduction Games"や"Deception in AI Agents"に関する研究を読むことが推奨される。