ReSight、履歴観測から記憶機能を拡張する身体性エージェント方式を提案

何が起きたか

arXivに2026-10-24掲載の論文は、身体性エージェント向けの自己改善型メモリシステム「ReSight」を提案した。実行時の能力不足を探索記録から特定し、解決策を再利用可能な機能にする「Explore-Distill-Mount（EDM）」を組み込む。3つの公開ベンチマークで評価し、OC-NaVQAでは平均位置誤差を33.10 mから24.72 mに、FindingDoryでは高水準タスクの成功率を38.3%から63.8%に改善した。

詳細

ReSightは、キーフレームと時空間上の関連を保持し、観測証拠と拡張可能な派生フィールドを分けて格納する。実行エージェントは登録済みツールを限られたオンライン予算内で使い、コーディングエージェントはより大きな探索予算で証拠を調べ、プログラムを作成し、必要に応じてモデルを取得する構成だ。 EDMは、実行・探索記録からタスクの正解を参照せずに能力の不足を見つけ、探索で得た解決策をメモリ構築器、検索ツール、スキルとして蓄積する。FindingDoryでは、探索・蒸留に含まれないエピソードについても、ツールとスキルを固定した状態で成功率が28.3ポイント向上した。実ロボットの巡回メモリを使った実験では、後続の問い合わせや新しいメモリへの機能再利用も示し、平均オンラインツール呼び出し回数が減った。

Key Facts

本紙の見方

ReSightの技術的な焦点は、記憶に観測を蓄積するだけでなく、問い合わせに必要な処理能力も後から増やす点にある。論文は、関連する証拠が保存されていても、既存ツールがタスクに必要な操作を支援できるとは限らないと問題を置く。キーフレームを証拠として保持し、派生フィールドを分離する設計は、元の観測を保ったまま新しい処理を加えるための土台と読める。能力追加をメモリ構造、検索ツール、スキルに分けたことも、単にモデルを置き換える方式とは異なる。 処理の分担にも意味がある。限られたオンライン予算で動く実行エージェントと、より大きな探索予算を持つコーディングエージェントを分け、後者の成果を前者が使える形に変換する。これは、現場での応答時間やツール利用の制約と、能力を調べて拡張する工程を別々に扱う設計である。OC-NaVQAとFindingDoryの評価では、ベンチマークごとに実行モデルとオンライン予算を固定しているため、報告された改善をオンライン実行時の予算増加だけで説明することはできない。ただし、探索側の費用や所要時間は抄録に記載されておらず、拡張機能を得るまでの負担は別に評価する必要がある。 FindingDoryで探索対象外のエピソードにも改善が残り、実ロボットの巡回メモリでも機能を再利用したとの結果は、記憶機能が個別の問い合わせに閉じない可能性を示す。一方、ベンチマークの規模、試行間のばらつき、実ロボット実験の環境や対象タスクは抄録からは分からず、数値の適用範囲を判断する材料は限られる。次に確認すべきなのは、探索・蒸留に要する計算資源、生成されたプログラムや取得モデルの安全性、記憶更新による誤りの持ち込み、長期運用時の性能である。とくに、観測証拠と派生情報を分離する設計が、誤った派生結果の検出・修正にどう使われるかは、実運用上の評価点となる。

なぜ重要か

論文の結果は、履歴観測を保管するだけでは検索・処理の能力が足りない場合があり、能力を後から追加する設計がベンチマーク上の位置推定誤差やタスク成功率に関係することを示す。とくにFindingDoryでは探索対象外のエピソードにも改善が報告されており、探索で作った機能の再利用可能性が評価対象となる。