文本到视频生成模型的提示词优化对齐方法VPO
VPO: Aligning Text-to-Video Generation Models with Prompt Optimization
Jiale Cheng, Ruiliang Lyu, Xiaotao Gu, Xiao Liu, Jiazheng Xu, Yida Lu, Jiayan Teng, Zhuoyi Yang, Yuxiao Dong, Jie Tang, Hongning Wang, Minlie Huang
IEEE/CVF International Conference on Computer Vision (ICCV) · 2025-10-19
摘要
文本到视频生成模型在相关任务中已取得显著进展。这类模型通常以描述详尽且经过精心设计的文本-视频配对数据进行训练，而推理阶段用户输入的文本往往较为简略、模糊或结构欠佳。这种差异使得提示词优化对于生成高质量视频至关重要。现有方法通常依赖大型语言模型通过上下文学习来优化提示词，但存在诸多局限：可能扭曲用户意图、遗漏关键细节，甚至引发安全风险。此外，这些方法在优化提示词时并未考虑其对最终视频质量的影响，从而导致效果欠佳。为解决这些问题，我们提出VPO这一原则性框架，它基于无害性、准确性与实用性三大核心原则来优化提示词。经优化生成的提示词既能忠实保留用户意图，更重要的是还能提升生成视频的安全性与质量。为实现这一目标，VPO采用两阶段优化策略：首先，基于安全与对齐原则构建并完善监督微调数据集；其次，引入文本层面与视频层面的反馈，借助偏好学习进一步优化该监督微调模型。大量实验表明，相较于基线方法，VPO在安全性、对齐度及视频质量方面均有显著提升，且在各类视频生成模型中均展现出强大的泛化能力。此外，研究还证实VPO在视频生成模型上的表现优于强化学习从人类反馈中习得偏好的方法，且可与后者结合使用，这充分体现了VPO在视频生成模型对齐方面的有效性。相关代码与数据已公开于https://github.com/thu-coai/VPO。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文针对文本到视频生成中训练阶段使用高度详细、精心撰写的文本-视频对，而推理阶段真实用户输入常常简洁、模糊或结构不良之间的落差，提出提示优化是生成高质量视频的关键环节。作者指出，当前依赖大语言模型通过上下文学习精炼提示的方法可能扭曲用户意图、遗漏关键细节或引入安全风险，并且优化提示时未考虑其对最终视频质量的影响。为回应这些问题，论文提出VPO框架，以无害性、准确性和有用性三项核心原则优化提示，声称其生成的提示能忠实保留用户意图，并提升生成视频的安全性和质量。VPO采用两阶段优化：先基于安全与对齐原则构建并精炼监督微调数据集，再引入文本级和视频级反馈以偏好学习进一步优化SFT模型。实验显示VPO在安全性、对齐和视频质量上相较基线方法有显著提升，并在不同视频生成模型间表现出泛化性，且可超越或结合RLHF方法。
- 研究方法
- 论文采用两阶段方法路径：第一阶段构建并精炼一个基于安全与对齐原则的监督微调数据集，用于训练SFT模型；第二阶段在SFT模型基础上引入文本级反馈和视频级反馈，通过偏好学习继续优化。实验部分将VPO与基线方法比较，评估维度包括安全性、对齐和视频质量，并测试其在不同视频生成模型上的泛化表现。论文还设置与RLHF方法在视频生成模型上的比较，并考察VPO能否与RLHF结合使用。材料中未明确提及SFT数据集的具体规模、来源、标注流程，也未说明文本级与视频级反馈的采集方式、奖励模型结构或偏好学习算法细节。材料同样未列出所用视频生成模型、基线方法名称、自动评价指标、人工评价协议或统计检验方法。
- 学术贡献
- 论文在方法层面提出VPO框架，将提示优化从单纯依赖LLM上下文学习转向以无害性、准确性、有用性三原则为目标的优化流程。其方法创新在于两阶段设计：先以安全与对齐原则构建并精炼SFT数据，再以文本级和视频级反馈进行偏好学习，使提示优化与最终视频质量建立联系。论文还公开代码和数据，提供的SFT数据集构造思路与偏好学习流程可被文本到视频生成、提示工程与安全对齐等子领域复用。实验声称VPO在安全性、对齐和视频质量上优于基线，并具有跨视频生成模型的泛化性，这为视频生成模型的对齐议题提供了可检验的优化方案。此外，论文展示VPO可超越或结合RLHF方法，为视频生成模型的人类反馈对齐路径提供了可比较的方案。
- 存在局限
- 论文摘要仅给出框架与实验结论，未交代SFT数据集构建的具体标准、样本数量、标注者构成与一致性检验，因而安全与对齐原则如何转化为数据标签无法被复核。文本级和视频级反馈的引入方式、反馈来源、奖励信号形式以及偏好学习目标函数均未说明，导致两阶段优化中第二阶段的贡献难以评估。实验部分未列出基线方法、视频生成模型清单、评价指标定义、人工评价流程和显著性检验，使安全性、对齐与视频质量的提升幅度和统计可靠性无法判断。泛化性结论虽被提出，但未说明跨模型测试覆盖哪些模型、输入分布和失败案例，外部效度证据不足。与RLHF的比较和结合实验缺少训练配置、计算成本和公平比较条件的描述，难以排除实现差异带来的影响。
- 进一步研究方向
- 后续研究可公开并系统报告SFT数据集的构建协议，包括样本来源、标注指南、标注者间一致性，并用消融实验分别检验无害性、准确性、有用性三原则对安全指标与视频质量指标的独立贡献。可设计针对简洁、模糊和结构不良三类用户输入的受控提示扰动集，结合自动指标与人工评价，量化提示优化前后的用户意图保留率、关键细节遗漏率和安全风险发生率。可扩展跨视频生成模型测试，明确列出模型版本、输入类型与失败案例，比较VPO在不同模型上的迁移效果，并检验文本级反馈与视频级反馈各自及联合使用时的边际收益。可设置VPO与RLHF的顺序训练、联合训练和交替训练对照，固定计算预算与评价协议，检验二者结合是否在安全性与视频质量之间形成稳定权衡。鉴于论文已公开代码与数据，还可复现并报告超参数敏感性、偏好数据规模效应以及在不同语言或领域提示上的表现。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis