PuzzleMate: 一人称視点のパズル支援に向けたMLLMベンチマーク

- 本論文は、MLLMs（Multimodal Large Language Models）が一人称視点（egocentric）のジグソーパズル支援において、実用的な逐次指示を提供できるかを評価するフレームワーク「PuzzleMate」を提案する。 - パズルを戦略的テストベッドとし、高精度な空間推論、微小な幾何学的差異の識別、逐次論理の厳密な遵守を要求するタスクとして位置づける。 - ユーザー・イン・ザ・ループ研究を通じて、最先端MLLMsのパズル状態認識と次の一手指示生成能力を評価し、7つの主要なボトルネックを明らかにする。 - さらに、パズル解決のためのMLLMsの推論能力を体系的に評価するベンチマークを提案する。

- 従来のMLLMsは一般的な視覚理解や物体認識に強みを示すが、細粒度の操作タスクにおける逐次ガイダンス能力はほとんど検証されていなかった。 - 本研究は、物体認識とは異なり、高精度な空間推論、微小な幾何学的差異の識別、逐次論理の厳密な遵守を要求するジグソーパズルをテストベッドとして採用した点で新規性がある。 - 一人称視点でのユーザー・イン・ザ・ループ評価と、それに基づく体系的なベンチマークを提案している点が先行研究と異なる。

- 一人称視点で撮影されたジグソーパズル解決を対象とするフレームワーク「PuzzleMate」を構築。 - ユーザー・イン・ザ・ループ研究を実施し、最先端MLLMsが現在のパズル状態をどの程度認識し、実行可能な次の一手指示を生成できるかを評価。 - 分析から得られた7つのボトルネックに基づき、MLLMsの推論能力を体系的に評価するベンチマークを設計。 - 具体的なモデルや評価指標の詳細は要旨からは不明。

- ユーザー・イン・ザ・ループ研究を通じて、最先端MLLMsのパズル状態認識と次の一手指示生成能力を評価。 - その結果、GPT-5.2やGemini-2.5-Proなどの現行モデルに大きな性能ギャップがあることを明らかにした。 - また、7つの主要なボトルネックを特定し、それに基づくベンチマークを提案することで、体系的な評価を可能にした。 - 具体的な評価指標や被験者数などは要旨からは不明。

- 現行のMLLMsは高度な能力を持つ一方で、ジグソーパズル支援に不可欠な複雑な推論と逐次論理の扱いに苦戦することが示された。 - 7つのボトルネックが明らかになり、これらがMLLMsの効果を制限している。 - 提案ベンチマークにより、今後のモデル改善に向けた体系的な評価基盤が提供される。 - 具体的なボトルネックの内容や議論の詳細は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてMLLMs（例：GPT-5.2、Gemini-2.5-Pro）や、一般的な視覚理解モデル、一人称視点認識、ユーザー・イン・ザ・ループ評価に関する研究が挙げられる。 - 同分野の定番として、Multimodal Large Language Models、Egocentric Vision、Visual Question Answering、Sequential Decision Making などの一般名が考えられる。