TTIDA：基于文本到文本与文本到图像模型的可控生成式数据增强
TTIDA: Controllable Generative Data Augmentation via Text-to-Text and Text-to-Image Models
Yuwei Yin, Jean Kaddour, Xiang Zhang, Yixin Nie, Zhenguang Liu, Lingpeng Kong, Qi Liu
arXiv (Cornell University) · 2023-04-18
开放获取生成式与扩散多模态与视觉语言被引 9被引前 50%影响因子 ≈1.1
摘要
数据增强已被确立为为低资源数据集补充有用信息的有效方法。噪声注入和图像变换等传统增强技术已得到广泛应用。此外，生成式数据增强（GDA）已被证明能够生成更具多样性和灵活性的数据。尽管生成对抗网络（GANs）常被用于GDA，但相较于文本到图像扩散模型，它们在多样性和可控性方面存在不足。在本文中，我们提出TTIDA（文本到文本到图像数据增强），利用大规模预训练的文本到文本（T2T）与文本到图像（T2I）生成式模型的能力进行数据增强。通过将T2I模型以T2T模型生成的详细描述作为条件输入，我们能够以灵活且可控的方式生成照片级真实感的带标签图像。在域内分类、跨域分类和图像描述任务上的实验表明，TTIDA相比其他数据增强基线均实现了稳定的性能提升。在小样本、长尾和对抗等不同设置下的分析研究进一步验证了TTIDA在提升性能与增强鲁棒性方面的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对低资源图像数据集的数据增强问题，提出TTIDA（Text-to-Text-to-Image Data Augmentation），核心论点是：传统噪声注入、旋转、裁剪、颜色调整等手工变换受限于预设的基本不变性，而基于GAN的生成式数据增强需要逐类训练、训练不稳定且易模式崩溃，因而在多样性与可控性上不足。TTIDA将大规模预训练T2T模型生成的细粒度物体描述作为T2I模型的条件输入，把单词或短语级标签扩展为“a white bike near the wall”一类描述，从而以语言接口灵活控制合成图像的生成。论文的具体问题域是：能否用T2T与T2I级联生成照片级真实且带标签的合成图像，并提升域内分类、跨域分类与图像描述任务的表现。支撑性论断包括：TTIDA在CIFAR-100、Office-31、Office-Home与MS COCO 2015上相较其他数据增强基线取得一致提升，且在few-shot、long-tail与adversarial设置下增强性能与鲁棒性。
- 研究方法
- 方法路径为四步级联：先在MS COCO 2015 Image Captioning训练集 captions 上以语言建模损失微调GPT-2，prompt模板含从caption抽取的实体词，最大句长20、beam size为5、训练5个epoch；再将类别标签li输入微调后的T2T模型得到描述di=t2t(li)；随后用GLIDE分别以li或di为条件生成64×64图像并上采样至256×256，再resize到目标数据集尺寸；最后按D_i^aug={li,Xi,Xhat_i}=Di∪Xhat_i构造增强类别。实验材料包括CIFAR-100域内分类（ResNet-101骨干）、Office-31与Office-Home跨域分类（CDTrans基线，继续微调50个epoch）、MS COCO 2015图像描述（mPLUG基线，CLIP ViT-B-16，训练5个epoch），评价指标为分类准确率及BLEU4、ROUGE-L、CIDEr-D。对照方法包括SimCLR/MoCo采用的图像变换、DCGAN、CycleGAN与StyleGAN，并设置+20%、+50%、+100%及最高+500%等合成图像比例。分析部分在CIFAR-100上调整训练集规模构造高低资源情境，按i/n构造long-tail CIFAR子集，并加入adversarial训练图像考察鲁棒性。
- 学术贡献
- 方法层面，论文提出T2T到T2I的两级生成式数据增强管线，将标签文本先扩展为描述再条件化T2I模型，属于生成式数据增强的具体方法创新，而非仅替换一种图像变换。材料发掘与领域拓展层面，论文把GPT-2、GLIDE、ResNet-101、CDTrans与mPLUG组合到CIFAR-100、Office-31、Office-Home和MS COCO 2015等基准上，覆盖域内分类、跨域分类与图像描述三类任务，拓展了T2I扩散模型在视觉数据增强中的任务范围。实证贡献上，表1显示TTIDA(desc.)在CIFAR-100各合成比例下均高于TTIDA(label)及DCGAN、CycleGAN、StyleGAN，表2与表3显示在Office跨域方向继续微调后准确率提升，表4显示MS COCO描述指标在不同训练规模下提升。分析贡献上，few-shot、long-tail与adversarial设置的结果表明低资源与数据多样场景下增益更明显，对低资源图像分类、域适应与图像描述的数据增强子领域具有直接价值。
- 存在局限
- 实验仅采用GPT-2作为T2T模型、GLIDE作为T2I模型，材料虽提及DALL-E与Stable Diffusion，但未将其纳入对照，因而无法判断增益来自T2T-T2I级联结构还是特定模型组合。论文对“可控性”和“多样性”的论证以生成流程描述与下游指标为主，材料中未明确提及对生成图像与输入实体/属性一致性的量化评估，也未明确提及人工评价或失败案例分析。跨域分类仅覆盖Office-31与Office-Home，图像描述仅覆盖MS COCO 2015，样本代表性的边界较窄；long-tail实验是从平衡CIFAR按i/n构造的合成子集，并非材料中未明确提及的真实长尾分布。合成图像统一先生成256×256再resize至CIFAR的32×32，材料未分析分辨率下采样与域差异对分类增益的独立影响。基线比较限于SimCLR/MoCo图像变换及DCGAN、CycleGAN、StyleGAN，未覆盖更多生成式增强策略，论证链条中“优于其他数据增强基线”的范围应受此限制。
- 进一步研究方向
- 在相同CIFAR-100、Office与MS COCO流程中，将T2I模型替换为材料提及的Stable Diffusion与DALL-E，并固定GPT-2描述输出，与GLIDE对照分类准确率、BLEU4、ROUGE-L、CIDEr-D及生成耗时，以分离级联结构与T2I模型选择的贡献。设计控制实验：仅编辑T2T prompt中的实体词、描述长度与属性词，统计生成图像与提示实体的属性一致率及类内多样性指标，直接检验论文所称的语言接口可控性。将long-tail实验从按i/n构造的CIFAR子集扩展到材料中未明确提及的真实长尾数据，并在CDTrans框架下比较TTIDA与重采样、代价敏感学习等长尾处理路径。对T2T微调数据规模与领域做消融，检验描述质量对下游分类与描述指标的中介效应，并补充人工评估与标签不一致、物体幻觉的失败案例分析。在CIFAR上设置不同生成分辨率与resize策略的对照，量化256×256到32×32下采样对增益的影响，从而区分合成图像语义质量与尺寸匹配的贡献。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis