BCI/神経デコーディング2026/9/28arXiv:2609.34561

脳活動条件付き行動ポリシーによる神経運動デコーディング

Brain-Conditioned Action Policies for Neural Motor Decoding

事前学習済みVLAモデルを言語を介して神経活動と整合させ、希少な神経-行動ペアデータに頼らずに運動意図をデコードするBrainVLAを提案。

詳しい要約

1. どんなもの？

- 運動BCIのためのneural motor decodingを目的としたBrainVLAを提案。 - 事前学習済みVLAモデルを言語を介したalignmentで活用。 - 希少なneural-actionペアデータへの依存を軽減。 - 神経活動、行動信号、言語指示、描画視覚観測を含むVLA互換データセットを構築。 - OpenVLA-OFTをLoRA fine-tuningで目標行動空間に適応。 - neural encoderをneural-language alignmentで訓練し、潜在運動意図を抽出。 - 神経表現を内因性意図信号としてVLAポリシーを誘導。

2. 先行研究と比べてどこがすごい？

- 従来のneural motor decodingはタスク特異的マッピングを学習し、希少なペアデータに制約。 - BrainVLAは大規模ロボティクス事前知識を活用し、データ効率を向上。 - 評価ベースラインと比較してcross-session decoding R^2とタスク成功率で優位。 - 訓練データ効率が高いことを実証。 - 言語媒介alignmentにより、神経活動から運動意図を伝達する新経路を確立。

3. 技術・手法の肝は？

- VLA互換データセット構築：神経活動、行動信号、言語指示、描画視覚観測をペアリング。 - OpenVLA-OFTポリシーをLoRA fine-tuningで目標行動空間に適応。 - neural encoderをneural-language alignmentで訓練。 - 言語表現を意味的ターゲットとして使用し、神経活動から潜在運動意図を捕捉。 - 得られた神経表現を内因性意図信号としてVLAポリシーを誘導。 - 視覚観測はタスク状態の補完情報を提供。

4. どうやって有効だと検証した？

- 異なる行動次元を持つ2つのneural motorデータセットで評価。 - causal rollout decodingを使用。 - 評価ベースラインと比較してcross-session decoding R^2とタスク成功率で上回る。 - 高い訓練データ効率を示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- OpenVLA-OFT - VLAモデル - neural motor decoding - causal rollout decoding - LoRA fine-tuning - neural-language alignment

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luyao Jin, Running Zhao, Huan Zhao, Vincent C. K. Cheung, Wei-Hsin Liao

分類: cs.LG

原文アブストラクト

Motor brain-computer interfaces (BCIs) aim to decode motor intention, enabling people with paralysis to control external devices. Neural motor decoding typically learns task-specific mappings from neural activity to kinematics, yet remains constrained by scarce paired neural-action data. We propose BrainVLA, a framework that enables neural motor decoding by drawing on a pretrained vision-language-action (VLA) model through language-mediated alignment. BrainVLA mitigates reliance on scarce paired neural-action data by leveraging VLA policies. We first construct VLA-compatible datasets including paired neural activity, action signals, language instructions, and rendered visual observations. Then, we adapt the OpenVLA-OFT policy to the target action spaces through LoRA fine-tuning. To establish an effective interface through which neural activity can convey motor intention to adapted VLA policies and guide action generation, we train a neural encoder via neural-language alignment, using language representations as semantic targets to capture latent motor intent from neural activity. The resulting neural representations serve as an endogenous intention signal to guide VLA policies to generate executable actions, while visual observations provide complementary information about the evolving task state. BrainVLA is evaluated on two neural motor datasets with different action dimensionalities using causal rollout decoding. It outperforms the evaluated baselines in cross-session decoding $R^2$ and task success rate, while demonstrating high training data efficiency. These results establish a route for neural motor decoding to draw on large-scale robotic priors through brain-conditioned VLA policies.

arXivで原文を読む →arXiv概要ページ

← 論文一覧