組み立て学習2026/8/13arXiv:2608.13684

意味的制約下での未知部品を用いた新規構造の組み立て学習

Learning to Assemble Novel Structures with Unfamiliar Parts under Semantic Constraints

訓練時には存在しなかった意味的制約（どの部品タイプや特徴が有効な構造を作るか）を、対話とデモンストレーションから学習し、新しい構造を組み立てるニューロシンボリックアーキテクチャを提案した。

詳しい要約

1. どんなもの？

本論文は、展開後に遭遇する未知の構造的意味制約（どの部品タイプと特徴が有効な構造を構成するかに関する制約）を、ユーザーとの対話とタスクデモンストレーションから学習し、新しい構造を組み立てるためのニューロシンボリックアーキテクチャを提案する。シミュレートされたおもちゃのトラック組み立てドメインで、自然言語のシンボリック証拠と密な視覚観測から学習する。

2. 先行研究と比べてどこがすごい？

先行研究では、訓練時に利用可能な構造知識を前提とすることが多いが、本手法は展開後に意味制約が導入され、エージェントが関連する構造や部品の概念を事前に知らない状況を扱う。自然言語による意味制約の伝達が、タスクデモンストレーションのみや部品の命名のみに頼るよりも、オンライン適応のデータ効率を向上させることを示す点が新しい。

3. 技術・手法の肝は？

手法の肝は、神経シンボリックアーキテクチャを用いて、自然言語からのシンボリック証拠と視覚観測を統合すること。具体的には、言語による意味制約（例：「ダンプトラックにはダンパーがある」）を利用して、構造の妥当性に関する知識を獲得し、組み立て行動を導く。

4. どうやって有効だと検証した？

シミュレートされたおもちゃのトラック組み立てドメインで実験を行い、自然言語による意味制約の伝達が、タスクデモンストレーションのみや部品の命名のみの場合と比較して、オンライン適応のデータ効率を向上させることを検証した。

5. 議論はある？

要旨からは、実世界の複雑な構造や多様な言語表現への一般化、長期的な知識獲得の持続性、対話の戦略的側面などに関する議論は不明。また、シミュレーションドメインに限定されている可能性があり、実環境での有効性は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、同分野の定番として、neuro-symbolic concept learning、grounded language learning、robot assembly planning、interactive task learningに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jonghyuk Park, Alex Lascarides, Subramanian Ramamoorthy

分類: cs.AI

原文アブストラクト

This paper describes a neurosymbolic architecture for learning to assemble novel structures using evidence from embodied conversations and task demonstrations. We focus on scenarios where an agent encounters, after deployment, semantic constraints on structures--in other words, constraints as to which part types and features make valid structures--that were not available during training, and where it is initially unaware of the relevant structure and component part concepts. The agent must acquire and exploit such knowledge through user interactions while attempting assembly. We study this setting in a simulated toy truck assembly domain, learning from symbolic evidence encoded in natural language and from dense visual observations. Our experiments show that communicating semantic constraints through natural language (e.g., "dump trucks have a dumper") yields more data-efficient online adaptation than relying only on task demonstrations and/or only naming the parts through natural language.

arXivで原文を読む →arXiv概要ページ

← 論文一覧