LLMエージェントによる低コスト遠隔操作代替のロボットデータ生成

- テレオペレーションの代替として、coding agent がロボット実演データを自動生成する仕組み「PyRUA-DataFarm」の提案。 - agent はデータ要求と対象シーンでの1回の calibration episode を受け取り、simulation 内でタスクを再構築する。 - 具体的には scene、expert controller、success judge を書き、simulator が正確な action を供給する。 - 実画像に条件付けられた video model が各 rollout を写真的な video として描画し、全 camera view を一貫して生成する。 - 出力は real-ready data：同期された camera view に robot の action がラベル付けされ、policy を直接学習して実機に展開できる。

- 従来の teleoperation は episode ごとに robot と operator の時間を要し、新タスクは毎回ゼロから始まる。 - 本手法は agent が teleoperator の役割を代替し、タスク適応を完全自動化する点が新しい。 - コスト面：タスク適応は平均 \$21 の API 利用料（タスクごとに1回）＋ render contract の \$5、追加 episode は平均 \$0.80 で robot も operator も不要。 - 3視点1時間のデータは平均 \$107 で、中国の teleoperation 見積 \$117 をわずかに下回り、北米の labor のみ \$290 を下回る。 - 性能面でも teleoperation と同等以上（後述）で、未見の tablecloth や coloured light 下での頑健性が高い。

- DataFarm の agent が simulation 内に scene、expert controller、success judge をコードとして記述する。 - simulator が正確な action を提供し、実画像に条件付けられた video model が rollout を写真的 video として描画、全 camera view を同時に一貫生成する。 - 出力は同期 camera view と robot action ラベルの real-ready data で、policy を直接学習可能。 - 独立した judge が expert と各描画 episode を admission 前に認定する品質管理機構を持つ。 - タスク適応は1回の calibration episode から完全自動で行われる。

- 5つの実ロボットタスクで検証。 - farm data のみで学習した policy は、同数の teleoperated episode で学習した policy と同等（100試行中 93 vs. 84 成功）。 - 未見の tablecloth と coloured light 下では、farm 学習 policy が 87 成功を維持する一方、teleoperation 学習 policy は 46 に低下。 - 独立 judge による expert と各描画 episode の認定を admission 前に行う。

- コスト比較は中国の teleoperation 見積 \$117 と北米の labor のみ \$290 に対するもので、地域差や前提条件の議論があり得る。 - video model による描画の写実性や sim-to-real ギャップ、judge の信頼性については要旨からは不明。 - タスク適応の自動化範囲や、calibration episode が1回で足りる条件については要旨からは不明。 - 長期的なスケーラビリティや多様なタスクへの一般化は要旨からは不明。

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として teleoperation、video model による条件付き描画、simulation ベースの expert controller 生成、success judge による品質認定が挙げられる。 - 同分野の定番として imitation learning、sim-to-real transfer、robot demonstration collection の文献を次に読むべき。 - 具体的な論文名は要旨からは不明。