跳到主内容
人工智能

文本到图像生成模型的比较研究

Comparative Study of Text-to-Image Generative Models

Muhammad Haziq Nordin, Nur Atiqah Sia Abdullah, Marshima Mohd Rosli

International Conference on Artificial Intelligence and Data Sciences (AiDAS) · 2025-09-02

订阅获取生成式与扩散影响因子 ≈0.6

摘要

神经网络中的深度学习技术因其强大的分类能力重新受到学界关注，其中深度生成模型能够根据文本创建数字图像。文本到图像合成技术融合了计算机视觉、自然语言处理与机器学习等多个领域。本文针对生成包含多物体的高质量图像这一难题，以及开发可靠的文本到图像合成评估指标的需求展开探讨。我们选取了三种具有代表性的文本到图像生成模型——基于生成对抗网络的GALIP、基于Transformer的MUSE以及基于扩散模型的Stable Diffusion，以确定适用于不同任务的最优模型。研究方法涵盖对文本到图像生成中生成模型的全面评估流程，该流程包含数据准备、模型初始化、合成图像生成及指标计算四个阶段。我们还分别采用弗里谢特 inception距离、Inception分数、CLIPScore、结构相似性指数测量以及峰值信噪比等指标对这些模型的性能进行评估。研究结果显示，在COCO等各类数据集上，GALIP凭借较高的Inception分数与较低的弗里谢特inception距离，在通用任务中表现最为优异；MUSE在CUB和Oxford等专业数据集上表现突出，其结构相似性指数测量与峰值信噪比得分更高；Stable Diffusion则在所有数据集上均展现出较强的适应性。本文揭示了训练数据对模型性能的重要影响，同时强调亟需完善评估指标，以便更准确地衡量图像保真度、质量及语境相关性。后续研究将致力于整合先进的训练技术、精细的数据增强方法，以及符合人类偏好的评估指标，从而进一步优化文本到图像生成模型的性能。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
论文针对文本到图像合成（T2I）中生成含多个对象的高质量图像与建立可靠评价指标两大挑战，比较GALIP、MUSE、Stable Diffusion三种模型。GALIP基于GAN，MUSE基于Transformer，Stable Diffusion基于DM。结论是GALIP在COCO等多样数据集通用任务上因高IS和低FID表现优异。MUSE在CUB和Oxford等专门数据集上SSIM和PSNR更优。Stable Diffusion在所有数据集上展现通用性。论文强调训练数据对模型性能的影响，并指出需改进评价指标以评估图像保真度、质量和上下文相关性。
研究方法
论文采用四阶段流程：数据准备、模型初始化、合成图像生成和指标计算。在COCO、CUB、Oxford数据集上对GALIP、MUSE、Stable Diffusion进行对比评估。评价指标包括FID、IS、CLIPScore、SSIM、PSNR。方法路径为模型间比较评估与多指标计算。材料中未明确提及样本量、数据划分、训练超参数、人类评估或统计检验。
学术贡献
在评估实践层面，论文将GAN、Transformer、DM三类T2I模型置于同一多指标框架下比较。覆盖通用与专门数据集，识别各模型在不同数据分布下的指标优势。贡献面向T2I模型选择与评价议题。论文凸显训练数据对模型性能的影响，并推动对现有自动评价指标局限性的讨论。材料中未明确提及其理论建构或新算法提出。
存在局限
材料未明确提及样本量、数据集划分、训练细节与统计显著性检验，模型间差异的稳定性无法从摘要判断。评价主要依赖FID、IS、CLIPScore、SSIM、PSNR等自动指标，论文自身也指出需改进评价指标以更好地评估图像保真度、质量和上下文相关性。对于“含多个对象”的具体生成挑战，摘要未给出分对象数量、组合复杂度或失败案例的分析。材料未提及人类偏好、伦理、版权或计算成本等维度。材料中未明确提及模型训练数据的具体构成与规模，因此训练数据影响的结论缺乏可核查细节。
进一步研究方向
材料提出未来工作包括整合先进训练技术、复杂数据增强、人类偏好对齐指标以优化T2I模型性能。可据此以人类偏好对齐指标重新评估GALIP、MUSE、Stable Diffusion，并检验其与FID、IS、CLIPScore、SSIM、PSNR的相关性。可在COCO、CUB、Oxford基础上构建多对象受控提示集，比较三种模型在对象数量与组合复杂度变化下的保真度与上下文相关性。可开展训练数据组成与规模的控制实验，验证材料中训练数据影响模型性能的论断。可对先进训练技术与数据增强策略进行消融，观察其对专门数据集与通用数据集指标的影响。

本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Generative Adversarial Networks and Image Synthesis