見て、思い出して、行動する：並行身体ストリームにおける常時稼働ロボット

常時稼働ロボットが途切れないマルチモーダルストリーム（指示の到着・失効、シーン変化、自身の過去行動）に対処するためのストリーミングポリシー ARMS を提案。 - 単一の pretrained π0.5 backbone に3つの軽量モジュールを追加。 - ライブ知覚・embodied states・自身の過去行動を context として backbone が行動前に読む。 - モジュールは非同期に context を更新し、watching と recalling が acting をブロックせず、dual-arm が同時に動作。 - agent-causal self-history でどの腕が何をいつ行ったかを記録。 - ARMS Dataset を段階的構築スクリプトで作成し、実 dual-arm teleoperation から各モジュールをラベル付け。

従来の action models は固定指示・タスク途中介入なし・単段推論を前提としており、オープンエンドな世界の常時ストリームに対応できない。 - ARMS は far-future cues の watching、far-past actions の recall、dual-arm concurrency 下の acting を同時に扱う。 - 新機構を発明せず、学習済み context providers と agent-causal self-history を統合する点が特徴。 - 追加アノテーションなしで監督できる ARMS Dataset を構築。 - 結果として combined task で 45% を達成し、4つの主要 baseline 中最強の 28% を上回る。

単一の pretrained π0.5 backbone を中核とし、3つの軽量モジュールで live perception・embodied states・自身の過去行動を context 化。 - モジュールは非同期に context を更新し、watching/recalling と acting を並行可能に。 - agent-causal self-history がどの腕が何をいつ行ったかをログし、自己履歴を context として利用。 - ARMS Dataset は段階的構築スクリプト自体が実 dual-arm teleoperation から各モジュールをラベル付けし、追加アノテーションを不要にする。 - これにより dual-arm concurrency 下での行動選択を backbone が context を読んでから実行。

ARMS Dataset で訓練した ARMS を combined task で評価。 - 45% を達成し、4つの主要 baseline 中最強の 28% を上回る。 - ablation により memory module、embodied-state head、asynchronous concurrency がそれぞれ必要であることを確認。 - 詳細な評価プロトコルやタスク設定は要旨からは不明。

memory module、embodied-state head、asynchronous concurrency の各要素が必要であることが ablation で示される。 - 一方、限界・失敗事例・計算コスト・スケーラビリティ・倫理的影響などの議論は要旨からは不明。 - baseline の詳細や統計的有意性も要旨からは不明。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として π0.5 backbone、action models、dual-arm teleoperation、streaming policy が挙げられる。 - 同分野の定番として vision-language-action models、robot learning from demonstration、long-horizon robot memory に関する論文を次に読むべき。