曖昧な指示を対話で明確化する認知駆動型ロボット整理フレームワークCLARA

- ロボティクス/AI システム向けの clarification framework「CLARA (Conversational cLArification for Robotic Arrangement)」 - 曖昧な高レベル指示(例: "clean the room", "organize the desk")を対象とする - 人間の clarification seeking behavior に倣い、対象的な質問でユーザーから重要情報を引き出す - 曖昧な要求を、物体の配置/再配置を精密に記述した構造化された詳細指示へと精錬する - その結果を diffusion-based image generation pipeline に渡し、最終的な望ましい scene の現実的な visual rendering を生成する - この rendering はシステム理解の visual confirmation としても機能する

- 従来の LVLM は曖昧な指示に対し理解を過大評価し、重要情報が欠けていても十分理解したと仮定しがちである点を問題視 - CLARA は clarification を能動的に行うことで、この過信を回避する枠組みを提案 - 実験と user studies により、別の State-of-the-Art LVLM システムと比較してより正確で一貫した outcomes が得られたと報告 - 曖昧な指示と完全に grounded な task specification の間のギャップを、interactive clarification で埋める重要性を示す

- 中核は cognitively-driven な clarification framework で、人間の clarification seeking behavior に類似した対象的な質問生成を行う - 質問応答を通じてユーザー選好と物体配置に関する欠落情報を引き出す - 得られた情報を基に、物体の organize/rearrange 方法を精密に記述する構造化された詳細指示へ変換 - その構造化指示が diffusion-based image generation pipeline を導き、最終 scene の realistic visual rendering を生成 - 生成 rendering をユーザーへの visual confirmation として用いる閉ループ的な理解確認の仕組み - 質問生成や変換の具体的アルゴリズムは要旨からは不明

- 実験結果と user studies により有効性を検証 - 別の State-of-the-Art LVLM システムとの比較を実施 - CLARA がより正確で一貫した outcomes を導くことを示した - 具体的な評価指標、被験者数、タスク設定、データセットは要旨からは不明

- interactive clarification が vague directives と fully grounded task specifications のギャップを橋渡しする重要性を強調 - LVLM が曖昧指示で理解を過大評価する傾向への対処として clarification の有効性を議論 - visual rendering を理解確認に用いる点の意義に言及 - 限界、失敗ケース、clarification のコストやユーザー負担、スケーラビリティに関する議論は要旨からは不明

- 要旨で比較対象として言及される別の State-of-the-Art LVLM システム(名称は要旨からは不明) - LVLM を用いた instruction following に関する研究 - diffusion-based image generation pipeline 関連の研究 - 人間の clarification seeking behavior に関する認知科学的研究 - 曖昧指示の grounding や interactive clarification に関する関連研究