SeeQ: 長期的ロボットマニピュレーションのための汎用価値関数の学習

- 長期的なロボット操作タスクにおける汎用的な価値関数を学習する手法「SeeQ」を提案。 - 複数段階からなるタスクや同じ段階で繰り返し試行が必要なタスクにおいて、一般istロボットポリシーの脆弱性を改善する。 - Q値関数を学習し、候補行動のランク付けやポリシー改善を導くことで、タスク成功率を高める。 - サブタスク単位のQ値学習により、クレジット割り当ての地平を短縮し、時間差(TD)学習を可能にする。 - 自然言語でアクティブなサブタスクを自己回帰的に予測し、その価値を推定するアーキテクチャを採用。

- 従来のQ値学習はスパースなタスクレベル報酬から学習するため、長いクレジット割り当て地平、困難なBellmanバックアップ、広範なデータカバレッジが必要だった。 - SeeQはサブタスクレベルのQ値を学習することで、価値予測の地平を短縮し、TD目的関数での効果的な学習を可能にする。 - オフラインロボットデータに含まれるサブタスクレベルのアノテーションを利用し、広範で潜在的に最適でないデータからも学習できる。 - テスト時に人間のアノテーションやモジュール式サブタスク予測システムを必要とせず、自然言語でサブタスクを予測する点が新しい。

- ベースとなるvision-languageバックボーンを使用し、多様なオープンソースのロボット操作データで事前学習し、下流タスクでファインチューニングする。 - Q関数アーキテクチャは、アクティブなサブタスクを自然言語で自己回帰的に予測した後、その価値を推定するように訓練される。 - トレーニング中はオフラインロボットデータに存在するサブタスクレベルのアノテーションを利用して分解を行い、学習を可能にする。 - 時間差(TD)目的関数を用いて、サブタスクレベルのQ値を学習する。

- 2台のbimanualロボットプラットフォーム上で4つの実世界操作タスクを実施。 - SeeQ価値関数がbest-of-Nポリシーステアリングを大幅に改善することを示した。 - 具体的な評価指標やベースラインとの比較詳細は要旨からは不明。

- 要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、一般的なQ-learning、TD学習、vision-languageモデル、ロボット操作のための価値関数学習が挙げられる。