日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
内発的動機・神経科学arXiv:2610.34638

自律エージェントの内発的目標:階層的探索がショウジョウバエの将来の随意行動を捉える

Intrinsic Goals for Autonomous Agents: Hierarchical Exploration Captures Future Volitional Action in Drosophila

シェア:XThreadsFacebookLINEはてブBluesky

ショウジョウバエの全脳記録と神経力学デジタルツインを組み合わせ、好奇心・エントロピー・コンピテンシーに基づく20種の内発的動機アルゴリズムで訓練したエージェントが、ハエの自発的探索行動と将来の随意運動の神経表現を再現できるか検証した。

詳しい要約

1. どんなもの?

- ショウジョウバエ(Drosophila melanogaster)の全脳記録と neuromechanical digital twin を組み合わせ、内在的目標(intrinsic goals)の最適化が自発的探索行動と将来の随意運動の神経表現を再現できるかを検証する研究。 - 外部報酬なしで訓練した人工エージェントが、ハエの自発運動統計と将来の turn direction の予測符号化をどの程度一致させるかを評価する。 - 階層的 policy が低レベル motor primitives の離散ライブラリから選択する枠組みを採用。

2. 先行研究と比べてどこがすごい?

- 全脳記録により、自発的探索決定の神経表現が10秒以上前に現れることを示した点。 - 20種類の intrinsic motivation algorithms(curiosity, entropy, competency)を同一の embodied 環境で比較し、行動と神経表現の両面でハエに最も一致する手法を特定した点。 - 行動 syllables という ethological theories に沿った階層的 motor primitives 選択を、神経表現の対応まで含めて検証した点。

3. 技術・手法の肝は?

- ハエ実験を模した virtual tethered-ball assay を構築し、spontaneous locomotor statistics と internal representations を比較。 - 階層的 policy が離散的な低レベル motor primitives を選択するアーキテクチャ。 - 外部報酬なしで、curiosity・entropy・competency にまたがる20の intrinsic motivation algorithms を用いて訓練。 - kinematics と neural activity から将来の turn direction をハエと同じタイムスケールで decoding して評価。

4. どうやって有効だと検証した?

- virtual tethered-ball assay 上で、spontaneous locomotor statistics と internal representations をハエの実験データと比較。 - kinematics および neural activity から将来の turn direction を decoding し、ハエで観測されたタイムスケールと照合。 - DIAYN が行動・神経の prospective coding 性能で最も強い一致を示し、個体差や interhemispheric encoding の sum-difference rule も再現したと報告。

5. 議論はある?

- DIAYN の学習 policy がハエ探索戦略の個体差を捉え、その多様性が population level での state-space coverage 最大化に寄与する可能性を示唆。 - DIAYN の latent activity が生物の interhemispheric encoding における sum-difference rule を再現した点を議論。 - 階層的・内在的動機付けエージェントが動物の autonomy を reverse-engineering する枠組みとして有効と主張。 - 限界や未解決点は要旨からは不明。

6. 次に読むべき論文は?

- DIAYN(Diversity Is All You Need) - curiosity・entropy・competency に基づく intrinsic motivation algorithms の各手法 - ショウジョウバエ全脳記録および neuromechanical digital twin に関する研究 - behavioral syllables に関する ethological theories

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Declan Kutscher, Reece Keller, Alyn Kirsch, Felix Pei, Aran Nayebi

分類: q-bio.NC, cs.AI, cs.LG, cs.RO

原文アブストラクト

Animals have a remarkable capacity for autonomy---driven by intrinsic motivation---without external sensory cues or extrinsic objectives, yet the computational mechanisms behind this ability largely remain a mystery. We combine whole-brain recordings in the fruit fly (Drosophila melanogaster), which reveal neural representations of spontaneous exploratory decisions more than 10 seconds in advance, with a neuromechanical digital twin to test whether optimizing intrinsic goals yields realistically embodied artificial agents that quantitatively match fly behavior and internal representations of future volitional action during exploration. Our hierarchical policy selects from a discrete library of low-level motor primitives, consistent with ethological theories of behavioral syllables. We train agents without external reward using 20 intrinsic motivation algorithms spanning curiosity, entropy, and competency methods. The agents are evaluated in a virtual tethered-ball assay modeled on the fly experiment, comparing spontaneous locomotor statistics and internal representations and decoding future turn direction from kinematics and neural activity on the same timescales observed in flies. DIAYN, a hierarchical competency algorithm learning discrete policies that maximize behavioral entropy and the separability of induced sensory observations, achieves the strongest joint behavioral and neural prospective coding performance relative to flies. Its learned policies closely capture individual variability in fly exploration strategies, suggesting that this diversity serves to maximize state-space coverage at the population level. DIAYN's latent activity also closely captures the sum-difference rule for interhemispheric encoding of kinematics in biological flies. These results establish hierarchical, intrinsically motivated agents as a powerful framework for reverse-engineering animal autonomy.

PR本紙発行元 EmplifAI