自回归模型优于扩散模型：Llama用于可扩展图像生成
Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation
Peize Sun, Yi Jiang, Shoufa Chen, Shilong Zhang, Bingyue Peng, Ping Luo, Zehuan Yuan
arXiv (Cornell University) · 2024-06-10
摘要
我们提出LlamaGen，这是一个新的图像生成模型系列，将大语言模型的原创“下一词预测”范式应用于视觉生成领域。该工作对“若进行恰当扩展，诸如Llama这类未对视觉信号设置归纳偏置的普通自回归模型是否能够实现最先进的图像生成性能”这一问题给出了肯定回答。我们重新审视了图像分词器设计空间、图像生成模型的可扩展性特征及其训练数据质量。此次探索的成果包括：（1）一种下采样比为16的图像分词器，在ImageNet基准测试上的重建质量为0.94 rFID，码本利用率为97%。（2）一系列类别条件图像生成模型，参数量从111M到3.1B不等，在ImageNet 256x256基准测试上FID为2.18，性能优于LDM、DiT等主流扩散模型。（3）一种参数量为775M的文本条件图像生成模型，基于LAION-COCO及高美学质量图像开展两阶段训练，在视觉质量与文本对齐方面展现出具有竞争力的性能。（4）我们验证了大语言模型服务框架在优化图像生成模型推理速度方面的有效性，实现了326%至414%的加速。我们发布所有模型与代码，以助力视觉生成与多模态基础模型开源社区的发展。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文提出LlamaGen图像生成模型家族，将大语言模型原生的“next-token prediction”范式迁移到视觉生成，核心论断是：不带视觉信号归纳偏置的vanilla autoregressive models在适当scaling后可以达到state-of-the-art图像生成性能。研究围绕image tokenizer设计空间、图像生成模型的scalability properties与训练数据质量展开。支撑性结果包括：16倍下采样tokenizer在ImageNet上取得0.94 rFID与97% codebook usage；111M至3.1B参数的类条件模型在ImageNet 256×256上达到2.18 FID并超过LDM、DiT等扩散模型；775M文本条件模型经LAION-COCO与高美学质量图像两阶段训练，在视觉质量和文本对齐上表现有竞争力；LLM serving frameworks带来326%至414%推理加速。
- 研究方法
- 采用自回归next-token prediction建模路径，系统重审image tokenizer的下采样比例、重建质量与codebook usage，并以ImageNet基准报告0.94 rFID和97%码本使用率。类条件生成实验覆盖111M到3.1B参数规模，在ImageNet 256×256上以FID 2.18与LDM、DiT等扩散模型比较。文本条件生成采用775M参数模型，在LAION-COCO和高美学质量图像上进行两阶段训练。推理侧使用LLM serving frameworks测量图像生成模型加速比。材料中未明确提及具体消融实验数量、人工评价协议与训练数据筛选细则。
- 学术贡献
- 在方法层面验证了无视觉归纳偏置的vanilla autoregressive image generation在scaling条件下的可行性，并将LLM的next-token prediction与serving框架迁移到视觉生成任务。在模型与材料层面构建了16倍下采样image tokenizer、111M至3.1B类条件模型系列和775M文本条件模型，并释放全部模型与代码。其价值具体落在图像tokenizer设计、类条件图像生成、文本条件图像生成以及自回归图像生成推理优化等子议题上，并以2.18 FID的ImageNet 256×256结果对扩散模型LDM、DiT形成直接性能对照。
- 存在局限
- 类条件生成的主要定量结果集中在ImageNet 256×256的FID 2.18，材料未给出其他分辨率或数据集的生成表现。文本条件模型仅称视觉质量与文本对齐具有竞争力，未报告具体文本对齐指标、视觉质量分数或人工评测协议。与扩散模型的比较只明确提及LDM、DiT，未列出完整基线集合与同算力/同参数量对照。tokenizer的0.94 rFID与97% codebook usage仅在ImageNet基准报告，材料未说明下采样率、码本规模与生成FID之间的控制消融。训练数据质量如何定义、两阶段数据配比及筛选标准在摘要中未明确提及。
- 进一步研究方向
- 可对image tokenizer的下采样率、码本规模与codebook usage做控制消融，并检验重建rFID与类条件生成FID之间的关联。可在ImageNet多分辨率及文本条件基准上补充文本对齐、视觉质量的自动指标与人工评测，并与同参数量、同算力的扩散模型做对照。可扩展111M至3.1B之外的参数规模并拟合scaling law，验证自回归图像生成的性能可预测性。可将LLM serving frameworks与自回归图像解码策略结合，测量端到端延迟、吞吐与加速比在不同模型规模下的变化。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis