大型语言模型的水印技术
A Watermark for Large Language Models
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan I. Katz, Ian Miers, Tom Goldstein
arXiv (Cornell University) · 2023-01-24
开放获取大模型与语言被引 194影响因子 ≈0.2
摘要
大型语言模型可能带来的危害可通过为模型输出添加水印来缓解，即在生成的文本中嵌入对人类不可见但算法能从少量词元中识别出的信号。我们针对专有语言模型提出了一种水印框架：该水印对文本质量的影响微乎其微，且无需访问语言模型的API或参数，就能通过高效的开源算法完成检测。其工作原理是在单词生成前选取一组随机的“绿色”词元，随后在采样过程中适度优先使用这些绿色词元。我们提出了一种可得出可解释p值的统计检验方法以检测水印，并构建了用于分析水印敏感性的信息论框架。我们使用Open Pretrained Transformer（OPT）系列中的数十亿参数模型对该水印技术进行了测试，同时探讨了其鲁棒性与安全性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对大语言模型输出可能被用于社会工程、选举操纵、假新闻与网页内容生成、学术写作和编程作弊等滥用场景，主张把水印作为专有模型危害削减的可审计手段：在生成文本里嵌入人类不可见、但从短短一段token（少至25个）即可算法化检出的信号。其核心机制是在每次采样前用前一个token的哈希作种子，将词表随机划分为「绿色列表」G与「红色列表」R，并以「软红名单」规则给绿色token的logits统一加常数δ，从而在高熵处强烈偏向绿色token、在低熵处几乎不改变近乎唯一的合理选择。检测端不需要模型参数或API，只对绿色token占比做单比例z检验并给出可解释的p值，z>4对应约3×10⁻⁵的假阳性率。作者强调水印无法在不大量改动生成token的情况下被移除：对长度1000的序列，需翻转约四分之一以上的token才能洗掉水印。论文同时承认低熵序列是水印的根本困难——提示词高度约束下文时人与机器的补全几乎一致，而硬性禁用token会带来高困惑度，数据记忆导致的复述文本正是检测失败的主要来源。
- 研究方法
- 方法路径由算法构造、统计检验、熵理论分析与模型生成实验四部分构成，而非泛泛的定性讨论。作者先给出便于分析的「硬红名单」算法（Algorithm 1，严格禁止红色token被采样），再给出实用的「软红名单」算法（Algorithm 2，对绿色logits加δ后经softmax重新归一化）。检测被形式化为对零假设H0（文本生成时不知晓红名单规则）的单比例z检验，z=(|s|G−γT)/√(Tγ(1−γ))，并用type-I/type-II误差框架估计灵敏度。理论部分定义spike entropy S(p,z)=Σ p_k/(1+z p_k)（Definition 4.1），据此给出水印序列中绿色token数的期望下界与方差上界（Theorem 4.2），以及逐token困惑度均匀上界（Theorem 4.3）。实验使用OPT-1.3B，提示取自C4数据集RealNewsLike子集，每次生成200个token、约500条样本，在多项式采样、贪心解码与4路beam search下比较检测率与PPL，并以OPT-6.7B、γ=0.5（样例中另有0.25）、δ=2在Table 1中列出成功与失败案例。
- 学术贡献
- 理论建构上，论文把机器文本检测从启发式判别转为可解释的假设检验问题，使检测结论带有明确p值与假阳性率（z>4时为3×10⁻⁵），并把「低熵文本难以水印」这一直觉形式化为spike entropy与检测灵敏度的定量关系。方法创新在于软红名单：以logits加δ的连续偏置替代硬性禁止，使水印在近乎确定性的token处自动失效、在候选众多的token处自动增强，从而在不重训练模型的前提下把文本质量损失限制在可界定的范围内（Theorem 4.3）。它进一步主张水印可在无模型参数与无API访问的条件下由第三方独立检测，这对社交平台自查、训练集合成数据清洗以及学术写作与编程作业的AI痕迹审计等具体议题具有直接可部署性。在材料与工具层面，作者公开了代码与演示（github.com/jwkirchenbauer/lm-watermarking），并给出可在约25词、140位密钥量级上运行的检测流程。
- 存在局限
- 理论分析假设红名单为均匀随机采样，而实际算法是用前一个token作种子、由伪随机数生成器划分词表，两者的偏离在文中被承认并留待后续讨论，未给出其对检测灵敏度影响量的界。实验设置固定为200个token、约500条生成，提示单一取自C4的RealNewsLike子集，主体实验只覆盖OPT-1.3B（个别样例用OPT-6.7B），未报告跨模型规模、跨语种、跨文类（如代码、公式、非英语）的系统评测，样本代表性受限。作者自己指出，用真实经验均值算出的type-II误差（5.3×10⁻⁷）只是接近实际的近似值而非严格下界，严格下界给出的灵敏度是98.6%。对重复n-gram会使绿色token计数虚高、可能把人类重复文本误判为机器生成这一问题，只提出增大PRNG上下文长度h与跳过重复n-gram两种补救方向，未做实验对比。对抗性分析停留在token翻转数的粗略计数上，没有实施改写、回译等实际攻击来检验「约需修改四分之一token」这一论断。
- 进一步研究方向
- 其一，针对伪随机采样与理论均匀随机假设的不一致，做系统的上下文长度h扫描实验：在不同h下测量z统计量的分布偏移，量化检测灵敏度与重复n-gram误报率之间的权衡，并检验「跳过重复n-gram」能否同时降低误报并保持高灵敏度。其二，把200-token/500样本的检测协议移植到多个参数规模的模型以及多种解码策略（贪心、beam search、不同温度与top-p）和代码、公式、非英语文本上，按spike entropy分位区间标定各区间的可检测token数下限。其三，设计实际攻击实验，对水印文本施加同义替换、回译以及10%—25%比例的token替换，测量z值随改动比例的下降曲线，验证「破坏水印需修改约四分之一token」的经验阈值。其四，针对Table 1所示的记忆型失败案例，检验一种组合策略：先用记忆或重复检测识别出低熵复述片段并从统计中剔除，再对同一文档内的高熵片段单独做z检验，考察文档层面的整体检测率能否恢复。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Steganography and Watermarking Techniques