AlphaNIST: 二値タスク報酬から創発する組立スキル

- NIST Assembly Task Board #1 の20タスクを対象に、sparse binary task reward のみで単一の policy を学習する手法 AlphaNIST を提案。 - デモンストレーション、進捗 shaping、スクリプト primitives、タスク別チューニングなしで、訓練成功率 98.2% を達成。 - 10 組の assembly pairs を順序指定なしで1エピソード内に完了する policy も学習。 - 学習された policy は、後の assembly のための grasp 選択、周囲形状を利用した部品の再配向、明示的 planner なしでの段取りと実行を発現。

- 従来は demonstrations、task decomposition、dense progress rewards が assembly 学習の指針として用いられてきた。 - AlphaNIST はそれらを一切使わず、sparse binary task reward とタスク多様性のみで assembly を学習。 - AlphaGo から AlphaGo Zero への進展と同様に、RL at scale が戦略を発見できるかを問う。 - 単一 policy で全20タスクをタスク別チューニングなしに学習し、98.2% の訓練成功率を達成。

- sparse binary task reward のみを使用し、タスク完了時のみ報酬を与える。 - 単一の policy を全20 assembly タスクでゼロから訓練。 - タスク多様性を活用し、デモンストレーションや進捗 shaping なしで学習。 - 10 組の assembly pairs を順序指定なしで完了する設定では、全10組が同時に完了したときのみ成功報酬。 - 明示的 planner なしで、grasp 選択や部品再配向などの行動が創発。

- シミュレーション上で NIST Assembly Task Board #1 の全20タスクを訓練し、全体訓練成功率 98.2% を報告。 - 10 組の assembly pairs を1エピソード内で順序指定なしに完了する policy も訓練。 - 学習された policy が dexterous かつ planning-like な行動（後の assembly のための grasp 選択、周囲形状を利用した再配向、段取りと実行）を発現することを確認。 - 詳細な検証方法や評価指標は要旨からは不明。

- sparse binary task reward とタスク多様性のみで assembly 戦略を発見できるかを問う研究。 - デモンストレーションや dense reward なしで高い訓練成功率を達成したが、実機への転移や汎化性能については要旨からは不明。 - 学習された行動がどの程度一般的か、他の assembly タスクへの適用可能性は議論の余地がある。 - 限界や今後の課題は要旨からは不明。

- AlphaGo Zero（sparse reward と自己対戦による戦略発見の先例） - NIST Assembly Task Board #1 を扱った既存の learning-based 手法（ demonstrations、task decomposition、dense progress rewards を用いる研究） - 関連手法として、sparse reward を用いた RL、assembly タスクへの応用研究