AffordCraft: 単一画像からタスク対応シミュレーション資産をスケーラブルに構築

- 単一の RGB 画像と task instruction から、simulation で使える articulated asset を構築する手法 AffordCraft を提案。 - 生成ではなく retrieval により、object と操作対象 part を特定し、library から一致する articulated asset を選択して画像に fit する。 - part と joint を保持したまま物理的に有効な asset を生成し、manipulation task の構築にも用いる。

- 既存の generative model は part や joint を予測しても simulation で settle/move しにくく、general-purpose agent は画像ごとに多数の model call を要する。 - AffordCraft は retrieval により、box や mask なしで 2,000 枚中 1,703 枚の物理的に有効な asset を生成。 - 5 つの generative 手法は同じ画像で最大 45% しか通過せず、中央値で有効 asset あたり 10〜78 倍の GPU time を要する。

- 単一 RGB 画像と task instruction から object と操作すべき part を locate する。 - 事前構築した articulated asset の library から一致する entry を選択し、part と joint を壊さずに画像へ fit する。 - library を 141 から 11,372 entry に拡張しても手法の変更は不要で、category coverage と requested label の選択率が向上する。

- 2,000 枚の写真（31 カテゴリ）で、box/mask なしに 1,703 枚の物理的に有効な asset を生成。 - 5 つの generative 手法と比較し、通過率と GPU time で優位性を確認。 - 50 枚の cluttered 画像では、自動検出後の 237 annotated object 中 162 が同じ物理テストを通過。 - 構築した asset から単一物体および composed scene の manipulation task を構築し、scripted demonstration で訓練した policy が未見の初期状態から両種のタスクを完了。

- library の拡張が手法変更なしに category coverage と label 一致率を改善する点を議論。 - 一方、生成手法との比較における物理妥当性や計算コストの詳細、失敗事例の分析は要旨からは不明。 - cluttered 画像での検出・選択の限界や、より多様なタスクへの一般化可能性は要旨からは不明。

- 要旨で比較されている 5 つの generative 手法（具体的名称は要旨からは不明）。 - general-purpose agent を用いた asset 構築手法。 - articulated object の生成・再構成に関する研究（例: generative model による part/joint 予測）。 - simulation における articulated asset library や retrieval ベースの手法。