人工智能安全与对齐研究的认知规范
Epistemic Norms for AI Safety and Alignment Research
Keivan Navaie
arXiv (Cornell University) · 2026-07-27
开放获取对齐与安全影响因子 ≈0.2
摘要
主流人工智能研究侧重于能力提升，即便在平均性能优异的情况下也容忍较低的故障率。而人工智能安全与对齐研究的目标则截然不同：要在证据稀缺、存在对抗性干扰以及极端风险频发的情境下，确保系统绝不会引发灾难性故障。我们认为，这两个领域在两条分析维度上存在本质差异——一是“能力特征”维度，要求证明系统不存在危险行为而非具备正向能力；二是“风险特征”维度，要求在极端不确定性下限制最坏情况的发生，而非单纯优化平均性能——而主流的认知实践在这两方面均存在不足。基于预先注册的文献计量基准所开展的结构化综合分析，我们识别出当前对齐研究中存在的五大交叉性缺口，其中包括制度化独立验证机制的严重缺失。为填补这些缺口，我们提出了《人工智能安全与对齐认知准则》（ECAISA），该准则包含八项原则、三级评分标准、旨在平衡透明度与信息危害及商业保密要求的四级披露层级、分层适用方案、信息危害裁定程序以及七种防止数据操纵的机制。《人工智能安全与对齐认知准则》并不承诺任何人工智能系统绝对安全；它仅对与安全相关的研究结论的记录、核查及采信方式加以约束，其治理目标在于实现可审计性而非出具认证。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文主张主流AI研究以能力增长和平均性能为导向，而AI安全与对齐研究以预防灾难性失败为使命，需在稀疏证据、对抗动态与肥尾风险下运作；二者在“能力剖面”（证明危险行为不存在而非展示正向能力）与“风险剖面”（约束最坏结果而非优化平均表现）两个分析上独立的轴上存在根本差异，主流认识论实践在这两方面均不足。作者通过结构化综合与预注册文献计量基线，识别出当前对齐研究的五个交叉缺口维度，包括制度化独立验证近乎缺失。为此提出ECAISA（Epistemic Code for AI Safety and Alignment），包含八项原则、三级评分量表、四级披露阶梯、分层适用方案、信息危害裁决程序和七项反博弈机制；ECAISA不认证系统安全，而是约束安全相关研究主张如何被记录、核查和依赖，以可审计性而非认证为治理目标。论文进一步将安全界定为研究记录的社会技术属性，指出五个缺口是证据社会生产中的缺口，并承认对开放式系统任何保证框架都存在认识论限度，ECAISA只主张经其原则产出的研究记录更可审计、更可争议且更难被误用为合规代理。
- 研究方法
- 论文采用概念分析与比较基准相结合的混合方法：先辨析对齐研究与常规AI研究在能力剖面与风险剖面上的不对称，再通过缺口分析定位主流认识论规范在对齐需求下的失效点。材料基础包括安全工程文献、关于可重复性与选择性报告的元科学工作、已发表的AI评估实践批评，以及航空、医疗、核能、高保障网络安全等安全关键领域的先例。实证部分依托在Open Science Framework预注册的文献计量基线：协议规定从RLHF、红队与安全评估、机制可解释性、鲁棒性四个子领域分层随机抽取n≥30篇对齐论文，编码五个对应E1–E5的二元可观测标记，采用有界证据编码规则和双编码并报告信度，报告Wilson 95%置信区间；文中报告的是n=10的单编码试点片段（4篇RLHF、3篇红队/安全评估、2篇机制可解释性、1篇鲁棒性），完整样本仍在进行。论文还报告对八篇对齐论文的回顾性量表审计（κ=0.79）以展示工具可行性，并提出四阶段验证路线图；另构建治理交叉映射，将每项原则映射至NIST AI RMF 1.0、ISO/IEC 42001和EU GPAI行为准则，并分析采纳动力学，将单边采纳视为协调问题并识别三条机构路径。
- 学术贡献
- 理论层面，论文提出能力剖面与风险剖面两个分析上独立的轴，据此刻画对齐研究区别于主流AI的认识论要求，并将安全重构为研究记录的社会技术属性，给出五个交叉缺口维度，为AI安全与对齐研究的证据标准讨论提供概念框架。方法层面，论文设计预注册文献计量基线，以二元可观测标记和Wilson置信区间测量对齐论文中缺口维度的流行率，并配套回顾性量表审计（κ=0.79）与四阶段验证路线图，为AI研究元科学提供可复用的测量工具。材料与实证层面，n=10试点片段发现独立验证标记E3流行率为0%（95% CI 0.0–27.8%），残余风险讨论E4为90%，对抗性报告E1在红队/鲁棒性子层为100%而在RLHF与机制可解释性子层为0%，揭示对抗性评估集中于少数子社区；量表审计独立观察到相同的子社区模式。治理与实践层面，ECAISA提供八项原则、三级评分量表、四级披露阶梯（调和透明度与信息危害及商业保密约束）、分层适用方案、信息危害裁决程序和七项反博弈机制，并以可审计性而非认证为治理目标；治理交叉映射明确ECAISA相对于NIST AI RMF、ISO/IEC 42001和EU GPAI准则的增量，采纳动力学分析识别三条绕过先动劣势的机构路径。这些贡献对AI安全评估、研究治理、AI元科学及安全案例方法等子领域具有直接价值。
- 存在局限
- 文献计量证据目前仅来自n=10的单编码试点片段，样本量小导致置信区间宽（如E1为16.8–68.7%），单编码使信度无法在试点阶段评估，且五个标记是保守的可观测代理而非对底层认识论实践的直接测量；作者明确该试点是注册协议的部分实施，不能替代n≥30的双编码完整研究。回顾性量表审计仅对八篇论文展示工具可行性，κ=0.79只说明评分者间一致性，并未验证量表分数与独立审计结果、安全案例质量或实际安全结果之间的效度关系；四阶段验证路线图尚属提案，未执行。ECAISA明确不认证任何AI系统安全，论文也未提供采纳ECAISA后能改善安全结果的因果证据；其主张仅限于经P1–P8产出的研究记录更可审计、更可争议、更难被误用为合规代理，这一比较主张尚未在对照研究中检验。论文承认对齐缺乏精算基率数据、明确定义的失效模式和平稳动态，因此航空10⁻⁹阈值仅作动机性类比而非可计算目标；对开放式系统，任何有限测试方案都无法闭合失败概率的分母，全面安全保证不可达。治理交叉映射虽将原则对应至NIST AI RMF、ISO/IEC 42001和EU GPAI准则，但采纳动力学仍被描述为协调问题，三条机构路径未经实证检验；五个缺口维度源于结构化综合，试点流行率仅具指示性，不能作领域级断言。
- 进一步研究方向
- 首要路径是完成预注册文献计量基线：按协议抽取n≥30篇分层随机样本，引入外部第二编码者进行双编码并报告信度，按标记和子层报告Wilson 95%置信区间，在OSF记录协议偏离，以检验试点中E3近零、E4高企、E1集中于红队/鲁棒性子层的模式是否在大样本中成立。其次，执行四阶段验证路线图：检验ECAISA量表的构念效度、评分者间信度（超越当前κ=0.79）、区分效度，并检验量表分数能否预测独立审计结论或安全案例质量；可对同一批论文并行使用ECAISA与现有评审标准，比较两者的判别力。第三，开展干预或纵向比较研究：让部分实验室、会议或资助机构按P1–P8产出研究记录，与现行规范下的记录在可审计性、可争议性和被误用为合规代理的难易程度上进行结构化评分比较，操作化定义结果变量。第四，扩展回顾性量表审计至更大且更多样的对齐论文样本与子领域，以足够统计效力检验红队/鲁棒性vs RLHF/机制可解释性的子社区差异；同时检验七项反博弈机制在对抗性评分场景下是否降低量表博弈。第五，实证检验采纳动力学：以比较案例或协调实验评估三条机构路径（如资助方强制、会议要求、监管交叉映射）对采纳率和合规行为的影响；并检验四级披露阶梯与信息危害裁决程序在真实会议、资助方和实验室场景中如何权衡透明度、商业保密与信息危害。第六，将ECAISA原则映射到AI安全案例方法，检验结构化不确定性登记（P7）是否改善残余风险量化，并比较NIST AI RMF 1.0、ISO/IEC 42001与EU GPAI准则的交叉映射在实践中的重叠、缺口与增量。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Ethics and Social Impacts of AI