LIFD: ロボットマニピュレーションのための3D認識シーン記憶を実現するアンカード拡散モデル

LIFD（Look, Imagine, Focus, and Do）は、部分的観測下のロボット操作のための持続的で3D-awareなシーン記憶フレームワーク。 - 単一RGB視野とrecurrent memoryからscene-token表現を学習・補完する。 - 多視点合意からscene-tokenを学習し、rectified-flow modelで生成する。 - Anchor-Guided Cross-Attentionで現在の幾何特徴に条件付けして補完する。 - コンパクトなslot featuresを操作policyに接続する。 - 展開時は1台のRGBカメラ、proprioception、タスク指示のみ必要。

先行研究と比べて、部分的観測下で観測履歴を保持しつつ欠損内容を可視証拠と結びつけて推論する点が特徴。 - 幾何対応RGB特徴は可視構造を記述するが、観測済み領域が移動で消失する問題に対処。 - 多視点・幾何supervisionで表現学習し、展開時は単一RGB視野で済む。 - LIBERO平均成功率をJoint training比で3.1ポイント改善（91.6%）。 - MetaWorldで79.8%、UR5e 4タスクで56.0%（OpenVLA-7Bの40.5%を上回る）。

技術の肝は、scene-token表現の学習と生成、およびpolicy接続。 - 多視点合意からscene-token表現を学習。 - 単一RGB視野とrecurrent memoryからrectified-flow modelでtokenを生成。 - Anchor-Guided Cross-Attentionで現在の幾何特徴に条件付けして補完。 - コンパクトなslot featuresを操作policyに接続。 - 表現学習に多視点・幾何supervisionを使用。

LIBERO、MetaWorld、UR5eタスクで検証。 - LIBERO平均成功率91.6%（Staged）、Joint training比+3.1ポイント。 - MetaWorldで79.8%。 - UR5e 4タスクファミリ、各10デモで平均成功率56.0%。 - OpenVLA-7Bの40.5%と比較。

要旨からは不明。 - 限界や失敗事例、計算コスト、一般化性に関する議論は記述されていない。

要旨で参照・比較されている研究としてOpenVLA-7B、Joint training、LIBERO、MetaWorld、UR5eタスクが挙げられる。 - 関連手法としてrectified-flow model、Anchor-Guided Cross-Attention、scene-token表現、slot featuresが挙げられる。 - 同分野の定番として3D-aware scene memoryや部分的観測下のロボット操作に関する研究が考えられる。