基于扩散模型的条件性文本图像生成
Conditional Text Image Generation with Diffusion Models
Yuanzhi Zhu, Zhaohai Li, Tianwei Wang, Mengchao He, Cong Yao
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2023-06-01
摘要
当前各类文本识别系统，包括手写文本和场景文本识别系统，均高度依赖图像合成与增强技术，因为仅靠收集和标注大量真实文本图像难以再现现实世界的复杂性与多样性。本文利用扩散模型在给定条件下生成照片级逼真且多样化的图像样本的强大能力，探讨文本图像生成问题，并提出一种名为“基于扩散模型的条件性文本图像生成”（简称CTIG-DM）的方法。为契合文本图像的特性，我们设计了图像条件、文本条件和风格条件三类约束，用于在图像生成过程中调控样本的属性、内容与风格。具体而言，通过组合配置这三类条件，可衍生出四种文本图像生成模式：（1）合成模式、（2）增强模式、（3）恢复模式以及（4）模仿模式。针对手写文本和场景文本的大量实验表明，所提出的CTIG-DM能够生成模拟现实世界复杂性与多样性的图像样本，进而有效提升现有文本识别器的性能。此外，CTIG-DM在领域适配以及生成包含词表外词汇的图像方面展现出广阔的应用前景。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出 CTIG-DM，将扩散模型用于文本图像生成，以应对真实文本图像收集与标注不足的问题。其核心论点是通过图像条件 ci、文本条件 ct 与风格条件 cs 控制生成样本的属性、内容与风格，从而同时追求内容有效性、保真度与多样性。三种条件组合配置可得到合成模式、增强模式、恢复模式与模仿模式四种文本图像生成方式。实验表明，CTIG-DM 在手写文本与场景文本上能生成模拟真实复杂性与多样性的样本，提升现有文本识别器性能，并在域适应和生成包含 Out-Of-Vocabulary 词的图像方面显示潜力。
- 研究方法
- 方法上构建条件编码器与条件扩散模型：图像条件由预训练文本识别器的编码器经 AttnPool 与位置嵌入得到，文本条件由识别器分类器权重 Wc 与字符 one-hot、位置嵌入经投影得到，风格条件由写者 ID 嵌入经投影得到。条件扩散模型采用 UNet 与 DDPM 框架，以噪声预测的平方误差损失训练，并在生成阶段逐步去噪。条件维度设为 512，并与时间步嵌入拼接，训练时对 ci、ct、cs 分别以 20%、10%、20% 概率随机置为可学习嵌入。实验使用 IAM、RIMES、CVL、CASIA-HWDB 1.0-1.1 等手写数据集，以及 MJSynth、SynthText、Real-L 等场景文本训练数据和 IIIT、SVT、IC03、IC13、IC15、SVTP、CUTE 等测试数据；识别评价为 WER/CER，生成质量评价为 FID、GS、SSIM、RMSE、LPIPS。消融实验在 IAM 上进行，识别实验以 CRNN 与 ABINet 为基线，并将合成模式与模仿/恢复模式按等比例混合的 MIX 数据用于训练。
- 学术贡献
- 贡献属于方法创新与领域拓展：材料称其为最早将扩散模型引入文本图像生成的工作之一。它提出图像条件、文本条件、风格条件三类条件，以及合成、增强、恢复、模仿四种生成模式，使文本图像生成区别于面向自然图像的扩散生成方法。它给出利用预训练文本识别器编码器与分类器权重构造条件的具体方案，以支持 OOV 词生成。实验覆盖英文手写、法文手写、场景文本与中文手写字符 OOV 生成，证明生成样本能提升 CRNN、ABINet 等识别器，并与随机几何增强互补，对文本识别中的数据合成与增强议题有直接价值。
- 存在局限
- 局限之一：风格条件 cs 仅用于手写文本生成，材料明确说明其只用于 handwritten text generation，因此场景文本中无法形成模仿模式，场景文本可视化也只展示合成、增强、恢复三种模式。局限之二：消融实验仅在 IAM 数据集上进行，未在 RIMES、CVL、CASIA-HWDB 或场景文本数据集上系统检验 ci、ct、cs 的贡献，条件有效性的跨数据集证据不足。局限之三：图像条件依赖预训练文本识别器编码器，文本条件依赖其分类器权重 Wc，材料未报告当该识别器在不同文字或场景上性能下降时对生成质量和 OOV 能力的影响。局限之四：生成质量评价以 FID、GS、SSIM、RMSE、LPIPS 及识别 WER/CER 为主，材料未对生成样本的文本内容正确率进行单独量化。局限之五：域适应实验仅提及使用 CVL 英文部分，材料中未明确覆盖更多语言或场景域的域适应设置。
- 进一步研究方向
- 可扩展风格条件到场景文本：围绕材料提到的文本旋转、背景、模糊噪声、字体等差异定义场景风格变量，构造场景风格条件并验证模仿模式在 STR 数据集上的保真度与识别增益。可在 RIMES、CVL、CASIA-HWDB 1.0-1.1 及场景文本训练/测试集上重复 IAM 式消融，分别检验 ci、ct、cs 对 FID、SSIM、LPIPS 以及 WER/CER 的影响。可针对 OOV 设计对照实验：用 CASIA-HWDB 生成未见汉字，用场景文本条件生成 OOV 词，比较生成样本与真实样本训练识别器时的 WER/CER，验证 OOV 生成对开放词表识别的具体贡献。可量化生成样本文本内容正确率，例如以识别器回读生成图像并统计字符或词错误率，补充现有 FID 等指标。可进一步检验 CTIG-DM 与随机几何增强之外的合成或增强方法组合时的互补性，并考察跨语言、跨写者、跨场景的域适应设置。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis