光学扩散模型在图像生成中的应用
Optical Diffusion Models for Image Generation
İlker Oğuz, Niyazi Ulaş Dinç, Mustafa Yıldırım, Junjie Ke, Innfarn Yoo, Qifei Wang, Feng Yang, Christophe Moser, Demetri Psaltis
neural information processing systems · 2024-01-01
开放获取生成式与扩散被引 4被引前 10%影响因子 ≈3.8
摘要
扩散模型通过逐步降低初始随机分布中的噪声来生成新样本。这种推理过程通常需要多次调用训练好的神经网络才能得到最终输出，从而在GPU等数字电子硬件上产生显著的延迟与能耗问题。本研究证明，可通过编程控制光束在半透明介质中的传播过程，来实现对图像样本的去噪扩散建模。该框架将含噪图像图案投射到被动衍射光学层上，这些光学层仅透射图像中预测的噪声成分。采用在线训练方式对这些光学透明层进行训练，并将误差反向传播至系统的解析模型中；这些被动光学层在不同去噪步骤中保持不变。因此该方法能够以极低的能耗实现高速图像生成，充分利用了光学信息处理的带宽优势与能效特点。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该研究提出光学扩散模型，论证光束在半透明介质中的传播可被编程为在图像样本上执行去噪扩散模型。其问题域是数字电子硬件执行DDPM多步反向去噪时产生的高延迟与高能耗。核心装置是光学去噪单元ODU，由被动衍射光学层构成，以单一相位型液晶空间光调制器SLM和多次反射实现多调制层，并只传输输入噪声图像中预测的噪声项εθ(rt,t)。该系统用时间感知去噪策略把数字DDPM的时间嵌入转译为不同时间子集对应的固定调制层组，从而以被动光学层完成多步去噪。材料报告在MNIST、Fashion-MNIST和Quick, Draw!时钟类别上生成图像，并称ODU参数量与生成性能呈与数字生成模型相近的幂律关系。
- 研究方法
- 方法以DDPM前向加噪和反向去噪公式为基线，把调制层复数调制系数作为可训练权重，用菲涅尔衍射、自由空间冲激响应和传递函数描述光传播，并借助FFT在GPU上并行加速训练。实验/仿真设置每层300×300像素、四个调制层，T=1000，β从10^-4到0.02线性取值，将时间线分为M=10个层组，每组处理100个时间步。训练目标为噪声预测的MSE，按式5和式6对各时间步损失求和，并用自动微分优化层参数。验证数据集为MNIST、Fashion-MNIST与Quick, Draw!时钟类别，指标包括IS、FID、KID和MSE，并设置全连接网络与卷积U-Net作为数字对照，比较输出分辨率与参数量缩放。在线学习部分构造两个光传播模型，一个作为“光学实验”并配置实测校准角，另一个作为数字孪生DT且初始校准角高20%，比较离线训练、实验误差反传与在线训练，并跟踪DT与实验输出的差异D=1-C。
- 学术贡献
- 在理论建构层面，该研究把DDPM的反向去噪映射为被动光学层中的波传播与调制，提出ODU和时间感知去噪策略，将数字时间嵌入转换为多组固定光学层。在方法创新层面，提出面向模拟光学硬件的在线学习算法，用数字孪生持续更新对齐与校准参数，并用其反传梯度更新物理系统可训练参数。在领域拓展层面，把光学计算从矩阵乘法、卷积、超分辨和去噪等任务推进到扩散模型推理，材料称光学扩散去噪器仍是当前研究空缺。该工作对光学神经网络、计算成像和生成式模型硬件加速子领域有直接价值，尤其是针对扩散采样重复性和能效问题。材料还报告ODU参数量-生成性能幂律指数约-0.15，接近文献中数字大模型报道的-0.16。
- 存在局限
- 样本与任务规模有限：生成实验集中在MNIST、Fashion-MNIST和Quick, Draw!时钟类别，光学层分辨率为300×300，材料未展示高分辨率自然图像或文本条件生成。生成质量指标不高，最终FID为MNIST 206.6、Fashion-MNIST 227.7、Quick, Draw! 131.4，材料未给出与高分辨率数字扩散模型可比的基准。在线学习验证中，“光学实验”和DT均为光传播模拟，DT仅以校准角高20%初始化，材料未明确提及完整实物闭环下对热漂移、振动和探测器噪声的鲁棒性数据。时间感知策略需将T=1000分为M=10个层组，每组对应独立训练的不同调制层组，因此摘要所述被动层在不同去噪步骤保持不变，与多组层或多次SLM更新的实现之间存在张力。材料也指出光学计算存在光调制与探测能耗、有限可编程性和实验精度问题，ODU仍受光电输入与读出硬件限制。
- 进一步研究方向
- 可在真实光学平台上构建闭环ODU，以单SLM加反射镜或并行被动层阵列执行完整DDPM采样，并用在线学习算法在实测校准角、振动和热漂移条件下更新DT，定量记录FID、IS与DT-实验差异D随迭代的变化。将生成任务从低分辨率符号图像扩展到更高分辨率自然图像或Quick, Draw!更多类别，测试层分辨率、层数和M对MSE、FID及参数-性能幂律的交互影响。研究振幅-相位联合调制或复调制层，比较相位-only SLM与可编程复调制对噪声预测精度和FID的改善，并检验连续时间条件的光学实现能否减少M=10分组造成的离散化误差。将ODU与数字前端或读出后端混合，量化光电调制与探测能耗在总功耗中的占比，并在相同分辨率下建立与GPU/TPU扩散采样的延迟和能耗基准。还可针对条件生成设计实验，验证时间感知去噪策略在类别或属性控制下的泛化能力。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Neural Networks and Reservoir Computing