MIT・New York University、自然言語の含意を動作計画に反映する「FLEX」を発表

何が起きたか

MITとNew York Universityの研究者は、自然言語の指示に含まれる明示されていない意図を、ロボットの動作計画に反映するパイプライン「FLEX」を発表した。利用者の指示から回避対象の共通性を推定し、指示されていない物体にも計画を広げる。検証はロボットアームのシミュレーションで行った。

詳細

FLEXは「Add」「Generalize」「Mask」の3段階で動く。利用者が指定した物体を特徴リストに加えた後、LLM（GPT-4o）が指定物体の共通性を推定し、標準のコンピュータービジョンシステムが環境内にない物体をリストから削除する。この一連の処理には約5秒かかる。 検証では、コーヒーを運ぶ、ろうそくを動かす、ボウリング球を運ぶ3種類のシミュレーションを実施した。研究チームは、電子機器への液体の接触、可燃物への接近、壊れやすい物への荷物の落下を避ける動作を示した。

Key Facts

本紙の見方

FLEXの特徴は、自然言語をロボットへの直接的な操作指示にとどめず、動作計画で使う特徴リストの編集に結び付けた点にある。利用者が「ノートPCにこぼさないで」と伝えた場合、指定された機器だけでなく、近くの電話も避ける計画に広げる。従来型の「Add」は指示のたびに個別の物体を追加するが、「Generalize」は物体間の共通性を推定する。指示を一件ずつ列挙する方法から、少数の指示を一般化して計画に反映する方法へ、自然言語の役割を拡張する設計といえる。 ただし、この一般化を単独の言語モデルに任せているわけではない。GPT-4oが指定物体から「壊れやすい物」のような属性を推定する一方、環境に対象が残っているかはコンピュータービジョンで確認し、なくなった物体をリストから外す。つまり、言語モデルによる意味の補完と、視覚による環境状態の更新を分けた構成である。約5秒という処理時間はチームが示した一連の処理の値であり、実機での制御遅延や動作全体の応答性を示すものではない。 本紙が紹介したMIT、視点の異なる画像でロボットの誤った物体記憶を修正する手法は、異なる視点の画像を比べて物体の説明を見直す研究だった。FLEXは物体記憶の誤りを直すのではなく、利用者の短い指示から、その場で計画に関わる未指定の選好を推定する。両者は扱う段階が異なるが、ロボットが人の意図を誤って扱う問題を、記憶と動作計画のそれぞれで捉えている。 産業上の論点は、指示を一般化することで個別ルールの入力を減らせる可能性と、誤った一般化が回避経路や作業結果に及ぼす影響との両立にある。研究発表で示されたのは3種類のシミュレーションであり、実環境の多様な物体や変化する状況で一般化がどこまで保たれるかは示されていない。次に確認すべきなのは、言語モデルが誤った共通性を推定した場合の検出・修正方法、視覚認識の誤差が特徴リストに与える影響、実機での安全性と処理時間である。

なぜ重要か

FLEXでは、利用者が回避対象を一つずつ指定する方式に対し、LLMが共通性を推定して未指定の物体にも動作計画を広げる。MITの説明では検証はシミュレーションに限られており、家庭などの実環境で指示の誤解や誤った一般化をどう抑えるかが、実装を評価する条件となる。