GLIDE：基于文本引导的扩散模型实现照片级图像生成与编辑
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models
Alex Nichol, Prafulla Dhariwal, Ramesh, Aditya, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark I-Cheng Chen
arXiv (Cornell University) · 2021-12-20
开放获取生成式与扩散被引 1,351影响因子 ≈0.2
摘要
扩散模型近期已被证实能够生成高质量的合成图像，尤其是当结合某种引导技术以在多样性与保真度之间取得平衡时。本研究聚焦于文本条件图像合成领域的扩散模型应用，对比了CLIP引导与无分类器引导两种不同策略。研究发现，就照片真实感与文本描述契合度而言，人类评估者更青睐后者，且后者往往能产出照片级样本。由参数为35亿的文本条件扩散模型采用无分类器引导生成的样本，即便在DALL-E运用成本高昂的CLIP重排功能的情况下，仍更受人类评估者青睐。此外，研究还发现这些模型可通过微调实现图像修复，从而支持强大的文本驱动图像编辑功能。我们基于筛选后的数据集训练了一个规模较小的模型，相关代码与权重已发布于https://github.com/openai/glide-text2im。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文研究文本条件图像合成问题，比较扩散模型中两种引导策略：CLIP 引导与无分类器引导。核心论断是，人类评估者在照片真实感和标题相似度上更偏好无分类器引导，且该策略常产生照片级真实样本。使用无分类器引导的 35 亿参数文本条件扩散模型所生成的样本，被人类评估者偏好程度高于 DALL-E 的样本，即使后者使用昂贵的 CLIP 重排序。论文还提出模型可微调以执行图像修复，从而实现文本驱动的图像编辑。研究对象涵盖文本到图像生成、引导策略选择以及文本驱动图像编辑。
- 研究方法
- 研究以扩散模型训练与对照比较为路径，在文本条件图像合成任务中比较 CLIP 引导和无分类器引导两种策略。评价采用人类评估者判断，评估维度明确为照片真实感和标题相似度。模型方面训练了 35 亿参数的文本条件扩散模型，并将其样本与 DALL-E 样本进行人类偏好比较，其中 DALL-E 设置包含使用 CLIP 重排序的对照条件。应用层面通过微调模型执行 image inpainting，以检验文本驱动图像编辑能力。此外在过滤数据集上训练了一个较小模型，并发布代码与权重；具体数据集构成、评估者数量、评分协议和统计检验在材料中未明确提及。
- 学术贡献
- 在方法比较层面，论文将 CLIP 引导与无分类器引导置于文本条件扩散模型框架下进行人类评估对照，指出无分类器引导在照片真实感和标题相似度上更受偏好。在模型性能层面，论文展示了 35 亿参数文本条件扩散模型结合无分类器引导可生成照片级真实样本，并在人类评估中超过使用 CLIP 重排序的 DALL-E。在应用层面，论文通过微调使模型具备 image inpainting 能力，将文本条件生成延伸至文本驱动图像编辑。在资源层面，论文在过滤数据集上训练较小模型并公开代码与权重，为文本到图像扩散模型的可复现实验与编辑应用提供可直接使用的模型资产。这些贡献涉及文本到图像生成、扩散模型引导策略和文本驱动图像编辑等子领域。
- 存在局限
- 摘要未报告人类评估的评估者数量、抽样方式、评分量表、置信区间或统计显著性，因此无分类器引导优于 CLIP 引导以及优于 DALL-E 的结论缺少可核验的效应量信息。两种引导策略的比较未说明是否在相同模型规模、训练数据、训练步数和推理预算下进行，计算成本与多样性—保真度权衡也未被量化。与 DALL-E 的对比未明确双方参数规模、训练数据、评估样本集和提示词分布是否匹配，CLIP 重排序的具体配置同样未说明。image inpainting 的微调效果仅以 powerful 描述，未给出修复区域保真度、文本一致性或编辑成功率的定量指标。过滤数据集的过滤标准、较小模型的具体规模以及开源模型与 35 亿参数模型之间的性能差距在材料中未明确提及。
- 进一步研究方向
- 可在固定模型架构、参数规模、训练数据和推理预算的条件下，对 CLIP 引导与无分类器引导做控制变量实验，并绘制多样性—保真度权衡曲线，以验证偏好差异是否由引导策略本身导致。应公开人类评估的完整协议，包括评估者数量、提示词清单、评分量表、随机化方式和统计检验，并在相同提示词分布下重复与 DALL-E 及 CLIP 重排序基线的比较。针对 image inpainting，可设计文本驱动局部替换、区域扩展和对象擦除等编辑任务，使用修复区域保真度、标题相似度和人类偏好作为指标，比较微调前后及不同引导策略的表现。还可比较过滤数据集上训练的较小开源模型与 35 亿参数模型在照片真实感、标题相似度和编辑一致性上的差距，并分析不同过滤标准对生成质量的影响。材料中未明确提及这些实验设计，但均可由论文已提出的引导策略比较、模型微调和开源发布路径直接延伸。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis