言語エージェントと非言語エージェントの協調の探求

LLMをオーケストレータとして用い、非言語エージェント（例：チェスエンジン）と協調させる際に、連続的な内部表現をテキスト要約に圧縮する「verbalization」がボトルネックとなるかを研究する。新ベンチマーク「LLAMIA-Bench」（6つの協調チェスタスク、行動模倣・状態評価・自然言語説明の3側面）を導入し、非言語エージェントの連続表現をLLMのトークンストリームに直接投影する「latent state internalization」を提案する。

従来はLLMと非言語エージェントの統合にverbalization（テキスト要約）を用いるが、情報損失が生じる。本手法は、非言語エージェントの連続表現を学習可能な状態トークンとしてLLMに直接注入することで、verbalizationのボトルネックを回避する点が新しい。また、LLMのスケール（4B→14B）にわたって性能ギャップが拡大する「verbalization debt」を体系的に示した点も貢献。

核は「latent state internalization」：非言語エージェント（チェスエンジン）の連続表現（例：評価値や盤面特徴量）を、学習可能な状態トークンに投影し、LLMの入力トークン列に追加する。環境状態が進むたびに動的に再エンコードする。これにより、テキスト化による情報圧縮を避け、LLMは状態トークンを直接利用して行動や説明を生成する。

LLAMIA-Benchの6タスクで、internalizationとverbalized integrationを比較。LLMを4Bから14Bにスケールして評価し、verbalization debt（性能ギャップが訓練中に拡大し、スケール後も残る）を確認。さらに、14Bの単一モデル「LLAMIA」が、タスク特化モデルやGPT-5.1（ツール使用）を全タスクで上回るか同等であることを示し、分布外汎化でもタスク特化ファインチューニングが崩壊する状況で頑健であることを実証。

要旨からは、verbalization debtの原因（情報損失か表現の不一致か）や、latent state internalizationの適用範囲（チェス以外のロボティクス等）についての議論は不明。また、状態トークンの解釈可能性や、LLMの事前学習との整合性に関する考察も要旨には含まれない。

要旨で参照されている研究は明示されていないが、関連手法として「LLM orchestration of subagents」「verbalization of continuous representations」「tool-augmented LLMs」が挙げられる。次に読むべきは、LLMと非言語エージェントの統合に関する既存研究（例：LLMと記号推論エンジンの連携）や、状態表現の圧縮に関する研究が考えられる。