日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット学習arXiv:2611.10280

ロボットは誰に教わったのか?オンライン学習するロボット方策から特定ユーザーの修正を除去する

Who Taught the Robot That? Removing One User's Corrections from a Robot Policy That Learns Online

シェア:XThreadsFacebookLINEはてブBluesky

展開後も学習を続けるロボットから特定のユーザーの影響を消すには、そのユーザーがどう修正したか(操作の引き継ぎか微調整か)に依存することをシミュレーションで示し、除去可能性の条件を明らかにした。

詳しい要約

1. どんなもの?

複数人が順番にオンラインで修正しながら学習を続けるロボットにおいて、後から特定のユーザーの修正を削除(forget)できるかを検討した研究。削除の目標は「その人が最初から存在しなかった場合に得られるロボット」であり、scripted users を用いた2つのシミュレーションタスクで厳密に計算している。

2. 先行研究と比べてどこがすごい?

要旨からは不明(先行研究との比較は明示されていない)。ただし、単にデータを削除して一括再学習する方法では目標に届かないことを示し、修正の種類(takeover か nudge か)によって削除可能性が変わる点を明らかにしている。

3. 技術・手法の肝は?

ユーザーの修正方法を2種類に区別する。takeover による修正では、訓練更新の順序付きログを保持し、残りのセッションを元の順序で再学習すれば訓練ノイズの範囲で目標に近づく。一方 nudge による修正では他ユーザーの修正に削除対象者の影響が残り、テストしたどの方法でも目標ロボットを回復できなかった。

4. どうやって有効だと検証した?

scripted users を用いた2つのシミュレーションタスクで、目標ロボットを厳密に計算し、順序付きログによる再学習、データ削除後の一括再学習、削除者なしでの継続学習などの方法を比較して有効性を検証している。

5. 議論はある?

takeover では順序付きログが有効だが、nudge では他ユーザーの修正が削除者の影響を運ぶため回復不能である。削除者なしで学習を続けると習慣の多くは消えるが、training buffer 内のデータが保持する影響は残る。ログは明らかに有害なユーザーを特定できるが、修正回数を数える以上に影響度でユーザーを順位付けすることはできない。

6. 次に読むべき論文は?

要旨で参照・比較されている具体的な研究は不明。関連手法として、online learning、takeover による修正、nudge による修正、training buffer、順序付き訓練ログを用いた再学習などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eshika Pathak, Leela Krishna

分類: cs.RO, cs.HC

原文アブストラクト

A robot that keeps learning after deployment is corrected by several people in turn, and one of them may later ask to be removed. We show that whether the robot can forget that person depends on how people correct it. The goal of removal is the robot that would exist if the person had never been there, which we compute exactly in two simulated tasks with scripted users. When users correct the robot by taking over control, an ordered log of training updates is enough: retraining on the remaining sessions in their original order gives a robot as close to the goal as training noise allows. Deleting the person's data and retraining in one pass does not, even when the other users' corrections do not depend on the removed person, because it loses the order of training. When users only nudge the robot's action, the other users' corrections carry the removed person's influence, and no method we tested recovers the goal robot. Continuing to train without the person removes most of their habits, but not what their data in the training buffer keep alive. The log can identify one clearly harmful user, but not rank users by influence better than counting their corrections.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5智元、清華大学などとCELを発表 96台のロボットで群体学習を検証研究・技術
PR本紙発行元 EmplifAI