日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
言語誘導表現編集arXiv:2610.28893

言語による柔軟な特徴編集でロボット行動を適応させるFLEX

Flexible Language-Guided Representation Editing for Adaptive Robot Behavior

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルを用いてロボットの内部表現を「追加・一般化・マスク」の3操作で反復的に修正し、自然言語の指示からタスクに必要な特徴を柔軟に獲得する手法を提案した。

詳しい要約

1. どんなもの?

- ロボットの軌道デモは「どう振る舞うか」を示すが「なぜ」は示さないため、タスク特徴の内部表現が誤る問題に対し、自然言語で特徴を指定・編集する手法。 - 提案手法 FLEX (Flexible Feature Editing Pipeline) は、言語モデルを用いて自然言語による修正からロボットの内部表現を反復的に洗練する。 - 3つの操作: Add missing features、Generalize existing specific features、Mask irrelevant features を組み合わせる。 - 対象は 2D navigation、7DoF Franka tabletop manipulation、実世界での自然言語修正・実ロボットデモ。

2. 先行研究と比べてどこがすごい?

- 既存の representation editing は言語で新特徴を指定するが additive edits のみに限定され、特徴集合が過剰指定・狭すぎる問題があった(特に逐次編集タスク)。 - FLEX は Add に加え Generalize と Mask を導入し、表現を簡潔かつ転移可能に保つ。 - single-operation および unscaffolded な baseline との比較で、3操作すべてが対話的シナリオに必要であることを示す。 - 他の feature editing 手法より一貫して高い normalized reward を達成。

3. 技術・手法の肝は?

- 言語モデルを活用し、人間の自然言語修正からロボットのタスク特徴の内部表現を反復的に更新するパイプライン。 - 3つの相補的操作: 不足特徴の追加(Add)、既存の具体的特徴の一般化(Generalize)、無関係特徴のマスク(Mask)。 - 逐次的な編集を通じて、過剰指定や狭いスコープを避け、compact で transferable な表現を維持する設計。 - 詳細なアルゴリズム・モデル構成は要旨からは不明。

4. どうやって有効だと検証した?

- 2D navigation シナリオで評価。 - 7DoF Franka tabletop manipulation タスクで評価。 - 実世界研究: naturalistic human language corrections と real-robot demonstrations を用いたユーザスタディ。 - single-operation および unscaffolded baselines と比較し、3操作の必要性と normalized reward の優位性を検証。

5. 議論はある?

- 3操作すべてが対話的シナリオで必要であることを比較結果が示す。 - FLEX は compact で transferable な表現を維持しつつ高い normalized reward を達成。 - 限界・失敗事例・計算コスト・言語モデル依存性などの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 既存の representation editing 手法(additive edits のみの言語指定手法)。 - single-operation baseline(Add のみ、Generalize のみ、Mask のみ等)。 - unscaffolded baseline。 - 関連する言語条件付きロボット学習・instruction following・representation editing の定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Audrey Lee, Nathaniel Dennler, Ilia Sucholutsky, Andreea Bobu

分類: cs.RO

原文アブストラクト

Trajectory demonstrations show robots how to behave but not why, leaving them to guess which features of the task actually matter. Incorrect guesses produce misaligned internal representations and lead to incorrect robot behaviors. Because task features are often semantically defined, we argue that natural language is better suited for specifying features rather than relying on demonstrations. Although existing representation editing methods have proposed using language to specify new features, only allowing additive edits produces feature sets that are often over-specified or too narrowly scoped, especially in sequential editing tasks. We propose the Flexible Feature Editing Pipeline (FLEX), which uses language models to iteratively refine a robot's internal representation of task features from natural language corrections via three complementary operations: Add missing features, Generalize existing specific features, and Mask irrelevant features. We evaluate FLEX on 2D navigation scenarios, 7DoF Franka tabletop manipulation tasks, and a real-world study using naturalistic human language corrections and real-robot demonstrations. Comparisons against single-operation and unscaffolded baselines show that all three operations are necessary in interactive scenarios, and that FLEX achieves consistently higher normalized reward compared to other feature editing approaches while maintaining compact, transferable representations. Project available at https://mit-clear-lab.github.io/FLEX/

PR本紙発行元 EmplifAI