ロボット操作における常識推論を評価するMolmoSpaces-CommonSenseベンチマーク

- ロボット操作における commonsense reasoning を評価する新しいベンチマーク MolmoSpaces-CommonSense を提案する研究。 - 対象は clutter のあるシーン、部分的に観測不能な物体、隠れた物体、意味的に適切な行動の推論。 - 低レベル実行だけでなく、シーン構造の認識と正しい行動選択の両方を要求する。 - 発達認知科学に基づく推論プロセスの taxonomy を導入し、それに沿ってタスクを設計。 - occlusion、containment、support relations、semantically correct grasp points、spatial affordances、hidden objects を扱う。 - zero-shot generalist manipulation policies を複数評価し、commonsense 推論の失敗を報告。

- 既存の simulation benchmarks は主に低レベル実行を測り、比較的 clean で clutter の少ない環境・狭いタスク構造に偏っていた。 - そのため多くの commonsense reasoning が未検証のままだった点を問題視。 - 本ベンチマークは clutter、occlusion、containment、support relations、hidden objects など多様な推論を体系的に評価。 - 単なる認識ではなく、正しい行動実行まで要求する点が先行評価と異なる。 - 結果として既存 benchmarks が zero-shot real-world readiness を過大評価している可能性を示唆。

- 発達認知科学に基づくロボット操作の推論プロセス taxonomy を構築。 - taxonomy を MolmoSpaces-CommonSense のタスク群として実装。 - 評価対象は複数の zero-shot generalist manipulation policies（モデル種別・アーキテクチャ横断）。 - タスクは occlusion、containment、support relations、semantically correct grasp points、spatial affordances、hidden objects の推論を要求。 - 成功判定には VLM-based success estimation も用いて評価。 - 具体的なシミュレータ設定やタスク生成手順は要旨からは不明。

- 複数の zero-shot generalist manipulation policies を MolmoSpaces-CommonSense 上で評価。 - clutter の distractor 増加に伴い成功率が 50% 以上低下。 - clutter 環境で 30% の頻度で誤った物体に行動。 - 詳細な language prompts を与えても affordance-sensitive grasping は不安定で、正しい object part 選択は約 50%。 - VLM-based success estimation も rollout 評価で信頼性が低いことを確認。 - モデル種別・アーキテクチャを横断して一貫した失敗を観測。

- commonsense reasoning の失敗は制御だけでなく perception-reasoning-action stack 全体に及ぶ可能性を示唆。 - 既存 benchmarks は zero-shot real-world readiness を大幅に過大評価している可能性。 - VLM-based success estimation の信頼性不足は評価手法自体の課題として議論の余地。 - clutter や hidden objects への頑健性向上が今後の重要課題。 - taxonomy の妥当性や実世界への一般化可能性は要旨からは不明。

- 本論文が参照する MolmoSpaces 関連の基盤研究。 - zero-shot generalist manipulation policies（例: OpenVLA、RT-2 などの VLA 系）。 - VLM-based success estimation に関する研究。 - clutter・occlusion・affordance を扱う既存 robotic manipulation benchmarks。 - 発達認知科学に基づく commonsense reasoning の認知モデル研究。