日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

BMI/マニピュレーションarXiv:2611.19332

脳意図インターフェースによる身体化マニピュレーション

NI-ACT: A Neural Intent Interface for Brain-Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

皮質内神経活動をタスクレベルの意図として一度読み取り、視覚運動ポリシーが知覚行動ループを閉じる階層型ブレイン・エンボディド枠組みを提案し、意図トークンが把持対象を決定づけることを示した。

詳しい要約

1. どんなもの?

- intracortical brain-computer interface (BCI) の集団活動を、記号コマンドや手設計の skill library を使わずに、学習済み embodied policy への task-level 条件(intent)として用いる枠組み - 階層型の brain-embodied framework である NI-ACT を提案 - 短い motor-cortical 信号を一度だけ persistent intent として読み取る - その後は visuomotor policy が vision と proprioception から perception-action loop を閉じる - 対象はロボットアームによる把持(grasping)タスク

2. 先行研究と比べてどこがすごい?

- 従来の intracortical BCI によるロボットアーム操作は、approach・correction・grasp の各段階を神経信号で指定する fast sensorimotor loop 内にユーザーを留める - 本研究は、集団活動を task-level 条件として使えるかを問う点が新しい - 記号コマンドや hand-designed skill library を必要としない - 比較として、one-hot で復号した direction より full population latent を dedicated intent token として渡す方が把持完了率が高い(69%→81%、132 held-out scenes) - 連続 direction 単独では one-hot label を上回らなかった - 読み取り位置の比較では、同一 dual-array session・readout window 一致の条件で PMd intent が M1 intent を上回った(77% vs 53%)。従来型の post-cue M1 readout は 42…

3. 技術・手法の肝は?

- 階層型 brain-embodied framework - 上位層: 短い motor-cortical 信号を一度読み取り、persistent intent として保持 - 下位層: visuomotor policy が vision と proprioception から perception-action loop を実行 - intent の表現が肝 - full population latent を dedicated intent token として渡す - one-hot 復号 direction や連続 direction 単独との比較を行う - 読み取り位置・タイミングも設計要素 - PMd と M1 の比較(dual-array session、readout window 一致) - post-cue の conventional M1 readout との比較 - center-out task で go cue 前の PMd preparatory activity のみから読む条件も検証

4. どうやって有効だと検証した?

- counterfactual grasping task(scene だけでは target を特定できない課題)で、neural intent 単独が把持対象を決めること、intent の置換で行動が変わることを確認 - 132 held-out scenes で grasp completion を比較 - full population latent の intent token: 81% - one-hot decoded direction: 69% - 連続 direction 単独: one-hot label を上回らず - dual-array session で readout window を一致させ PMd と M1 を比較 - PMd intent: 77% - M1 intent: 53% - conventional post-cue M1 readout: 42% - center-out task で go cue 前の PMd preparatory activity のみから読んだ intent が complete g…

5. 議論はある?

- 神経信号の『表現の仕方』『どこで読むか』『いつ読むか』が、embodied agent への movement goal 伝達効率を共に決めることを示唆 - preparatory activity(特に PMd の go cue 前活動)のみでも把持を駆動でき、post-cue M1 readout を上回り得る点が議論の焦点 - ただし dual-array の PMd vs M1 比較は one session、preparatory の優位は one recording の結果であり、一般性・被験者間差・長期安定性は要旨からは不明 - 記号コマンドや skill library を排した設計の限界・適用範囲も要旨からは不明

6. 次に読むべき論文は?

- 比較対象として要旨で挙げられた conventional post-cue M1 readout および one-hot decoded direction / 連続 direction による intent 表現の研究 - PMd の preparatory activity と M1 の post-cue activity を扱う intracortical BCI 研究 - intracortical BCI で robotic arm を駆動する従来の fast sensorimotor loop 型研究 - visuomotor policy を用いた embodied manipulation 研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinghao Li, WeiHsien Lee, Zeyu Zhang, Canyang Zhao, Ke Fang, Xing Li, Bing Liu

分類: cs.AI

原文アブストラクト

Intracortical brain-computer interfaces can drive robotic arms, but they keep the user inside the fast sensorimotor loop: every approach, correction, and grasp must be neurally specified. Whether intracortical population activity can instead serve as a task-level condition for a learned embodied policy, without symbolic commands or hand-designed skill libraries, remains unknown. NI-ACT addresses this question with a hierarchical brain-embodied framework: a brief motor-cortical signal is read once as a persistent intent, and a visuomotor policy then closes the perception-action loop from vision and proprioception. In a counterfactual grasping task where the scene cannot specify the target, the neural intent alone determined which object the robot grasped; replacing the intent changed the behavior accordingly. Passing the full population latent as a dedicated intent token, rather than a one-hot decoded direction, raised grasp completion from 69% to 81% over 132 held-out scenes, whereas a continuous direction alone did not improve on a one-hot label. Where the signal was read also mattered: in one dual-array session, with the readout window matched, premotor (PMd) intent completed more grasps than primary motor (M1) intent (77% vs. 53%), and the conventional post-cue M1 readout reached 42%. Preparatory activity was itself sufficient: in a center-out task, intent read only from PMd before the go cue (that is, before any movement) drove complete grasps, and in one recording it completed more grasps than the same animal's post-cue readout. These results show that how a neural signal is represented, and where and when it is read, jointly determine how effectively it conveys movement goals to an embodied agent.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI