アラインメント2026/9/10arXiv:2609.11660

自律性・社会規範・アラインメント：自律的人工エージェントのための発達的枠組みに向けて

Autonomy, Social Norms, and Alignment: Towards a Developmental Framework for Autonomous Artificial Agents

本論文は、身体性を持つAIエージェントが動的環境で自律的に学習しつつ人間の目標と整合するための、発達的・経験主義的な規範獲得の枠組みを提案する。

詳しい要約

1. どんなもの？

- 本論文は、自律エージェントが動的・未知の環境で適応するための発達的枠組みを提案する。 - 大規模モデルの限界を指摘し、環境との直接相互作用による知識獲得の重要性を強調。 - 内在的動機づけ（curiosity, competence）による探索・学習を導入。 - アラインメントを経験に根ざした規範の漸進的構築として捉え、子どもの社会化に類似させる。 - Dennettに従い、道徳的エージェントの地位は段階的に付与されるとする。 - regulatory sandboxesをAIの教育環境と見なす。

2. 先行研究と比べてどこがすごい？

- 従来のAIは事前データセットと人間フィードバックに依存し、動的・未知の文脈で不十分。 - 本提案は、内在的動機づけと経験からの規範構築により、自律性とアラインメントの両立を目指す点で新しい。 - アラインメントを固定的ルールではなく、発達的・協調的プロセスとして捉える視点が先行研究と異なる。 - Dennettの道徳的エージェント論をAIに適用し、段階的自由度管理能力に基づく地位付与を提案。

3. 技術・手法の肝は？

- 内在的動機づけ（curiosity, competence）を高次メカニズムとして導入し、複雑環境での探索・学習を促進。 - 経験に根ざした認識論的プロセス：単純な状況的原理から始め、経験・自律学習・他の道徳的エージェントとの協力を通じて複雑なルールを漸進的に構築。 - regulatory sandboxesを動的で段階的に複雑さが増す教育環境として活用。 - 子どもの社会規範学習との類似性を利用し、相互作用と協力を通じて自律行動を形成的に調整。

4. どうやって有効だと検証した？

- 要旨からは不明。具体的な実験や検証方法には言及されていない。

5. 議論はある？

- 自律性の拡大はアラインメント確保を複雑にする。 - 非構造的・動的環境では事前定義ルールが不十分。 - 規範を経験に根ざすことの有効性と課題、段階的発達の可能性について議論。 - regulatory sandboxesの教育環境としての位置づけを提示。

6. 次に読むべき論文は？

- Dennettの道徳的エージェント論に関する文献。 - 内在的動機づけ（curiosity, competence）を用いた強化学習研究。 - regulatory sandboxesやAIアラインメントの動的アプローチに関する研究。 - 子どもの社会規範学習の発達心理学研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marica Notte, Ludovica Marinucci, Vieri Giuliano Santucci

分類: cs.AI

原文アブストラクト

In recent years, artificial intelligence has made extraordinary progress thanks to large-scale models capable of generalization and the generation of complex outputs. However, transferring this potential into embodied agents reveals a significant limitation: the most advanced systems rely on pre-existing datasets and human feedback strategies that are powerful but insufficient in dynamic or unknown contexts. To adapt, an agent must acquire knowledge through direct interaction with its environment. One strategy to address this challenge involves introducing higher-level mechanisms, such as intrinsic motivations, which leverage curiosity and competence, to guide exploration and learning in complex environments. While this flexibility expands autonomy, it complicates the task of ensuring agents remain aligned with human goals. Alignment, already a challenge for artificial systems in general, becomes even more complex in unstructured and dynamic contexts where predefined rules prove insufficient. To be effective and adaptable, norms must be rooted in experience through an epistemological process that starting from simple, situated principles allows for the gradual construction of more complex rules through experience, autonomous learning, and cooperation with other moral agents. Similarly to children learning social norms by exploring their environment and participating in collective practices, artificial agents must also be educated toward alignment. Following Dennett, the status of a moral agent is not innate but is attributed gradually based on the ability to responsibly manage increasing degrees of freedom. From this perspective, the regulatory sandboxes can be viewed as pedagogical environments for AI: dynamic spaces where alignment develops as a formative process, progressively shaping autonomous behaviors through interaction and cooperation in scenarios of increasing complexity.

arXivで原文を読む →arXiv概要ページ

← 論文一覧