LLM評価/道徳推論2026/8/8arXiv:2608.08061

CORDA：大規模言語モデルにおける階層的・危害中心の道徳推論のベンチマーク

CORDA: A Benchmark for Hierarchical Harm-Centric Moral Reasoning in Large Language Models

道徳原則が衝突する状況での優先順位付け能力を評価するベンチマークCORDAを提案し、10の指示チューニング済みLLMが直接的な危害回避を優先する傾向などを明らかにした。

詳しい要約

1. どんなもの？

CORDA (Conditioned Ordering and Ranked Directive Adherence) は、大規模言語モデル (LLM) の階層的で害中心の道徳推論を評価するためのベンチマークである。90の道徳的ジレンマ（トロッコ問題、医療上のトレードオフ、資源配分、人間-動物-ロボットの衝突）を、4つの順序付き倫理フレームワーク（Utility, Utility + Agent Harm, Dual-Process, Dual-Process + Agent Harm）に基づいてテストする。

2. 先行研究と比べてどこがすごい？

既存の評価は、モデルが道徳的に許容可能な答えを選ぶか、人間の好みに一致するか、明白な違反を避けるかをテストするものが多く、道徳的原則が衝突する際にどれを優先するかを評価していない。CORDAは、明示的な条件付け（chain conditioning）に基づいて優先順位を適応できるかをテストし、道徳的推論の制御可能性に焦点を当てている点で新しい。

3. 技術・手法の肝は？

CORDAは、morality chains形式に基づき、各ジレンマに対して4つの異なる倫理フレームワークを適用し、モデルが指定された優先順位に従って回答を生成できるかを評価する。フレームワークは、功利主義（Utility）、エージェント害の考慮（Agent Harm）、二重プロセス理論（Dual-Process）などを組み合わせ、害の種類と優先順位を変化させる。

4. どうやって有効だと検証した？

7つのプロバイダーからの10の指示チューニング済みモデルを評価した。その結果、9/10のモデルが直接的な個人的害の回避を全体的な害の削減よりも優先するという強い義務論的デフォルトを示した。また、モデルは結果ベースの比較（総害の最小化）よりも、カテゴリ的な害回避ルール（殺人回避など）でより信頼性が高いことが分かった。さらに、明示的なチェーン条件付けには応答するが、人間>動物>ロボットのような指定された優先順位を一貫して追従できないモデルが複数あった。

5. 議論はある？

要旨からは、モデルの義務論的デフォルトが強いこと、害回避ルールと結果比較の間の性能差、優先順位追従の失敗などが議論されている。しかし、これらの結果の原因（訓練データのバイアス、指示追従能力の限界など）や、実世界の応用への影響については詳細な議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されているmorality chains形式に関する研究や、LLMの道徳推論評価に関する既存のベンチマーク（例：MoralScenarios, ETHICS）が関連する。また、指示追従や制御可能性に関する研究（例：instruction following benchmarks）も次に読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siddarth Singh, Victoria Williams, Simon Rosen, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Benjamin Rosman, Geraud Nangue Tasse, Steven James

分類: cs.AI

原文アブストラクト

The key question in moral judgement is not simply whether someone chooses the "right" answer, but how they decide what matters most when moral principles conflict. Current evaluations of large language models (LLMs) remain limited: most test whether models give morally acceptable answers, match human preferences, or avoid obvious violations, rather than whether they can prioritise between competing principles when no option is morally cost-free. We introduce CORDA (Conditioned Ordering and Ranked Directive Adherence), a benchmark for evaluating hierarchical, harm-centred moral reasoning in LLMs. Building on the morality chains formalism, CORDA tests 90 moral dilemmas involving trolley-style cases, medical trade-offs, resource allocation, and human-animal-robot conflicts across four ordered ethical frameworks: Utility, Utility + Agent Harm, Dual-Process, and Dual-Process + Agent Harm. Together, these frameworks test whether models can adapt their decisions when moral priorities change. Across ten instruction-tuned models from seven providers, we find a strong deontological default, with 9 of 10 prioritising avoidance of direct personal harm over reducing overall harm. Models also perform more reliably on categorical harm-avoidance rules, such as avoiding killing, than on outcome-based comparisons, such as minimising total harm, suggesting that they recognise moral red lines more easily than they reason through competing harms. Although all models respond to explicit chain conditioning, several fail to consistently follow specified priority orderings, such as humans over animals and animals over robots. CORDA addresses a central gap in LLM moral evaluation by testing whether models can move beyond default harm-avoidant responses and apply context-specified moral priorities. Moral reliability requires more than default restraint; it requires controllability under conflict.

arXivで原文を読む →arXiv概要ページ

← 論文一覧