TANDEM: 必要時デモンストレーションを用いたタスク・動作計画による視覚言語行動モデルの効率的ファインチューニング

- TANDEMは、Task and Motion Planning (TAMP) と選択的な人間のteleoperationを組み合わせたシステム。 - 言語指示と視覚観測から、pretrained vision-language modelsを用いて計画ドメインを拡張し、不足するpredicatesと人間が実行するmagic operatorsを追加。 - これにより、タスク固有の介入点なしに自律段階と人間実行段階を交互に実行可能。 - 人間段階の後、シーンを再知覚し意図した効果を確認してから自律計画を再開。 - VLAモデルのfine-tuningのため、example pretraining trajectoriesを用いてplanner生成動作を対象モデルのpretraining分布に整合させる。

- 従来のteleoperationは、ロボットが自律的に実行できる行為にも多くの人間デモを要し、データ収集のスケーラビリティを制限。 - 固定されたTAMPドメインでは長期的操作タスクの全段階を支援できない。 - TANDEMは、人間の支援をオンデマンドの計画能力として表現し、TAMPドメインを動的に拡張。 - タスク固有の介入点を必要とせず、自律と人間実行を交互に組み合わせられる点が新しい。 - 同じ人間介入時間で、full-task teleoperationの2.9倍のデモを収集可能。

- 言語指示と視覚観測を入力とし、pretrained vision-language modelsを用いてTAMPドメインに不足するpredicatesとhuman-executed magic operatorsを追加。 - これによりplannerが自律段階と人間実行段階をタスク固有の介入点なしに交互に計画。 - 各人間段階の後、シーンを再知覚し、意図した効果が成立するか確認してから自律計画を再開。 - VLAモデルfine-tuningのため、example pretraining trajectoriesでplanner生成動作を対象モデルのpretraining分布に整合。 - 具体的なVLM名や整合手法の詳細は要旨からは不明。

- TAMPドメインの能力を超える5つの長期的操作タスクで評価。 - 代表的な長期的タスクにおいて、同じ人間介入時間でfull-task teleoperationの2.9倍のデモを収集。 - pretrained π_{0.5}-DROIDモデルを各タスク20個のTANDEMデモでfine-tuning。 - 5タスク平均のタスク成功率が0%から60%に向上。 - これにより有効性を検証。

- 要旨からは、TANDEMの限界や失敗事例、議論の詳細は不明。 - 人間介入時間やデモ数、成功率の向上は示されているが、他のベースラインとの比較や統計的有意性は要旨からは不明。 - 一般化可能性やスケーラビリティに関する議論は要旨からは不明。

- 要旨で参照/比較されている研究: full-task teleoperation、Task and Motion Planning (TAMP)、vision-language-action (VLA) models、π_{0.5}-DROID。 - 関連手法として、pretrained vision-language modelsを用いた計画ドメイン拡張や、example pretraining trajectoriesによる動作整合。 - 同分野の定番として、Robot Learning from Demonstrations、Vision-Language-Action Models、Task and Motion Planningの基礎文献を挙げる。