FEIJOA、指示に応じて物体を特定し移動操作を実行する手法を発表

何が起きたか

arXivで2026年11月2日に公開された論文は、移動マニピュレーター向けの言語モデルエージェント「FEIJOA」を提示した。103件のオープンエンドな指示解釈クエリで、指示を正確に解決した割合は94.2%となり、事前構築された表現のうち最良の結果である68.0%を上回った。Spotを用いた実環境での50試行では35件のタスクを完了した。

詳細

FEIJOAは、指示を受けた後、姿勢情報付きRGB-Dスキャンを対象にグラウンディングツールを呼び出し、返された候補を調べて、指示を解決するまでクエリを調整する。実行時には、ロボットの身体特性を考慮するハーネスが各スキルの前提条件を確認し、対象物に届くベース位置をサンプリングする。操作の前後に得た観測から、スキルの効果も検証する。 完了した35件のうち17件は、ツール呼び出しの失敗または検証チェックの失敗から回復した後に成功した。失敗した15試行の内訳は、ロボットの物理スキルに起因するものが13件、グラウンディングまたはエージェントの推論に起因するものが2件だった。

Key Facts

本紙の見方

今回の技術的な焦点は、指示を受ける前に固定されたシーン表現だけに頼らず、指示が与えられた時点で必要な対象を探し直す設計にある。論文の例では「おもちゃをおもちゃ箱に片付ける」という指示に対し、何がおもちゃか、どの容器がおもちゃ箱かを決める必要がある。事前に作った表現にその属性や概念が含まれない場合があるという問題に対し、FEIJOAは候補を返すツールへの問い合わせを反復する。94.2%と68.0%の差は、この評価におけるタスク時点のグラウンディングの有効性を示す結果だが、103件のクエリに限った比較であり、あらゆる環境や指示で同様の差が出ることを示すものではない。 一方、この研究は物体の特定だけでなく、特定した対象にロボットが実際に届き、操作できたかまでを一続きで扱う。スキルの前提条件を確認し、到達可能なベース位置を選び、実行前後の観測で効果を確かめる構成は、言語指示の解釈結果をそのまま実行命令にするのではなく、身体の可動範囲と実行結果で絞り込むものと読める。これは認識性能だけでは、移動操作全体の成否を評価できないことを踏まえた設計である。 実環境試行の内訳も、システムの評価軸を考える材料になる。50試行中35件を完了し、成功した35件のうち17件は失敗からの回復を経ていた。さらに、失敗15件中13件は物理スキルに起因した。少なくともこの試験では、指示の解釈より、把持や配置など実行側の能力が残る課題として目立った。ただし、要旨だけでは各物理スキルの失敗原因や、回復処理を使わなかった場合との比較は分からず、回復が成功率をどれだけ変えたかまでは判断できない。 したがって、FEIJOAの価値はグラウンディングの数値だけでなく、指示解釈、到達可能性の確認、実行、観測による検証を結んだ評価枠組みにあるとみられる。今後確認すべきなのは、別のロボットや環境でも同様に動くか、タスクの種類や物体の配置が変わったときにクエリ調整が機能するか、そして物理スキルの失敗をどのように分類・改善するかだ。要旨にはこれらの条件や内訳が示されておらず、今回の結果を広い用途へ一般化するには追加の評価が必要になる。

なぜ重要か

FEIJOAの評価では、指示を正確に解決した割合が94.2%だった一方、Spotでの失敗15件中13件は物理スキルに起因した。指示から対象を特定する能力と、把持・配置を実行する能力を分けて検証する必要性を、実環境試行の内訳が示している。