何が起きたか

ブラウン大学のHuman to Robot Laboratoryに所属する研究者らが、Boston Dynamicsの四足ロボットSpotに対し、人間のジェスチャーと自然言語を組み合わせて物体を探索・回収させる手法を開発した。実験では、複雑な環境で89%の成功率を達成したとしている。

詳細

ブラウン大学のHuman to Robot Laboratoryで、博士課程学生のIvy He氏と博士研究員のJason Liu氏が、ロボット犬に「お手」ならぬ「おいで」を教える研究を行った。He氏は2023年に同研究所に加わり、最初のプロジェクトとして、犬が人間のジェスチャーにどう反応するかを調べていた。その後、同じ教授Stefanie Tellex氏の下で研究するLiu氏と共同で、ジェスチャーと自然言語を組み合わせてロボットを指示する方法を模索した。 研究チームは2024年初頭に、Boston DynamicsのSpotロボットに、犬が物を持ってくるように物体を回収させる実験を開始した。まず、人間のジェスチャーを3Dモデルで表現し、円錐の先端が指す方向を利用した。さらに、自然言語のプロンプトに応答する既存の視覚AIモデルを組み合わせ、不確実な状況下での意思決定に適した部分観測マルコフ決定過程（POMDP）を構築した。 2025年に研究を終えた際、言語とジェスチャーを組み合わせた指示により、ロボットが複雑な環境で物体を見つける成功率は89%に達した。ただし、環境が複雑になるほど性能が低下し、カメラの位置によって指示の方法が制限されるという課題も確認された。Liu氏は「いくつかの限界は非常に興味深く、将来の研究の良い方向性を示している」と述べ、He氏は「ロボットがより社会的な環境や家庭環境に展開されるための一歩だ」とコメントしている。

Key Facts

ブラウン大学のHuman to Robot Laboratoryで、Ivy He氏とJason Liu氏が研究を実施した。[0]
研究は2023年に始まり、2025年に完了した。[0]
Boston Dynamicsの四足ロボットSpotを使用した。[0]
ジェスチャーと自然言語を組み合わせた指示で、物体探索の成功率は89%だった。[0]
研究チームは3Dモデルでジェスチャーを表現し、円錐の先端が指す方向を利用した。[0]
部分観測マルコフ決定過程（POMDP）という数学的枠組みを構築した。[0]
環境が複雑になるとロボットの性能が低下するという限界が確認された。[0]
カメラの位置によって指示の方法が制限されるという課題がある。[0]
He氏は動物に着想を得たロボットと人間のインタラクションに研究をシフトしている。[0]
研究チームは今後、人間の視線を組み込んだマルチモーダル通信戦略を構築する予定。[0]

なぜ重要か

この研究は、ロボットへの指示方法として、自然言語とジェスチャーを組み合わせることで、より直感的で柔軟な操作が可能になることを示している。成功率89%という結果は、複雑な環境での物体探索におけるマルチモーダル指示の有効性を示唆しており、将来のロボットの社会実装や家庭での利用につながる可能性がある。