HarvestPoint-ACT: 明示的な対象選択と収穫点条件付けによる遮蔽下でのロボット果実収穫

HarvestPoint-ACTは、ロボットによる果実収穫のためのエンドツーエンド模倣学習手法である。果実の選択とグリッパーの閉じる位置（harvest point）を明示的に知覚し、ポリシーに提供する。インスタンスセグメンテーションとキーポイント分岐により各果実のマスクとharvest pointを予測し、スケジューラが遮蔽度と移動距離で候補をランク付けして対象を選択する。選択された果実は8次元状態としてaction chunking transformerにエンコードされる。

従来のエンドツーエンド模倣学習は、接近と把持のための手動モーションを回避するが、どの果実を選ぶか、どこでグリッパーを閉じるかを暗黙的に決定する必要があり、遮蔽下では対象を見失いやすく、正しい閉鎖点をピクセルから推測するのが困難だった。HarvestPoint-ACTはこれらの決定を明示的に知覚に組み込み、ポリシーに提供することで、遮蔽下での成功率を向上させている。

手法の肝は、インスタンスセグメンテーションのフロントエンドにキーポイント分岐を追加し、各可視果実のマスクとharvest pointを予測すること。スケジューラが遮蔽度と移動距離で候補をランク付けし、1つのターゲットを選択する。試行後はキャノピーが変化するため再検出と再ランク付けを行う。選択果実は、絶対harvest point、グリッパーからその点へのベクトル、有効性フラグ、信頼度スコアを含む8次元状態としてエンコードされる。一時的に未検出の場合はロボットベースフレーム内の最後の推定値を保持し、staleとマークし、喪失が続けば試行を中止する。

キャノピーモックアップ上で検証し、成功率88%、重い遮蔽下では75%を達成した。

要旨からは、実環境での検証や他の手法との比較、限界についての議論は不明。

要旨で参照されている研究は明示されていないが、関連手法としてaction chunking transformerやインスタンスセグメンテーションを用いた収穫ロボットの研究が考えられる。