解决文本到图像生成模型中的歧义问题
Resolving Ambiguities in Text-to-Image Generative Models
Ninareh Mehrabi, Palash Goyal, Apurv Verma, Jwala Dhamala, Varun Kumar, Qian Hu, Kai-Wei Chang, Richard S. Zemel, Aram Galstyan, Rahul Gupta
Annual Meeting of the Association for Computational Linguistics (ACL) · 2023-01-01
开放获取生成式与扩散多模态与视觉语言被引 10被引前 10%影响因子 ≈3.6
摘要
尼纳雷·梅赫拉比（Ninareh Mehrabi）、帕拉什·戈亚尔（Palash Goyal）、阿普尔夫·维尔玛（Apurv Verma）、贾瓦拉·达马拉（Jwala Dhamala）、瓦伦·库马尔（Varun Kumar）、钱·胡（Qian Hu）、蔡佳伟（Kai-Wei Chang）、理查德·泽梅尔（Richard Zemel）、阿拉姆·加尔斯特扬（Aram Galstyan）、拉胡尔·古普塔（Rahul Gupta）。第61届计算语言学协会年会论文集（第1卷：长文部分）。2023年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究自然语言歧义在文本到图像生成模型中的表现与消解，指出歧义可源于句法、语义和欠指定，并会导致生成图像偏离用户意图。作者强调欠指定歧义可能产生公平性问题，例如“doctor talking to a nurse”可能生成性别职业分布失衡的图像。为此提出TAB基准和TIED框架，TIED通过语言模型向终端用户索取澄清问题（QA-TIED）或让用户选择可能视觉设定（VS-TIED），再将消歧信号拼回原提示。自动与人类评估表明TIED能提升忠实图像生成，总体平均超过11%，且QA-TIED通常优于VS-TIED。不同歧义类型表现不均衡，如句法动词短语任务优于介词短语，说明歧义类型与句法结构影响消歧效果。
- 研究方法
- 构建TAB：以LAVA语料为基础，删除视频相关样本，新增句子、公平性提示、复杂句和标签，形成1200条歧义提示与4690个视觉设定。TAB覆盖六类主要歧义：句法PP74、VP243、连词127、篇章回指21、省略45、公平性355，另有复杂/组合/杂项335；每个元素由专家标注并经两名标注者交叉核对。TIED用GPT-2、GPT-neo、OPT进行in-context learning，少样本示例来自外部且不在TAB中；QA-TIED生成澄清问题并由用户回答，VS-TIED生成视觉设定并由用户选择。将用户反馈与原始提示拼接，输入OpenAI DALL-E和DALL-E Mega生成图像，共研究超过15k图像。自动评估用BLEU、ROUGE比较LM生成与TAB ground truth，用VILT VQA模型以问题格式判断图像是否满足用户意图；人类评估在mturk对400张图像由3名标注者完成共1200条标注，Fleiss Kappa 0.86。还进行BART句子复述实验和两项消融：改变few-shot数量、比较简单与复杂句结构。
- 学术贡献
- 材料发掘层面，TAB将歧义基准从LAVA扩展至文本到图像场景，提供1200条歧义提示、4690个视觉设定及澄清问题格式，可作为消歧评估的ground truth。方法建构层面，TIED提供可叠加于任意文本到图像模型之上的交互式消歧框架，区分QA-TIED与VS-TIED两种用户反馈路径。评估方法层面，提出用VQA模型按用户意图问题判断生成图像忠实度的自动评估程序，并与BLEU/ROUGE和人类评估进行对照。领域拓展层面，把NLP中的歧义研究延伸到文本到图像生成，并特别将公平性歧义纳入基准，连接生成模型偏见议题。实证层面，在超过15k图像上验证TIED平均提升忠实生成超过11%，并揭示不同歧义类型和不同LM之间的效果差异。
- 存在局限
- 语言模型消歧的人类评估只报告GPT-neo，因自动结果最佳，未覆盖GPT-2与OPT，限制了跨模型结论。忠实图像生成的人类评估仅覆盖400张图像、1200条标注，相对于论文生成和研究的15k图像规模偏小，且标注平台为mturk。自动忠实度依赖VILT VQA模型，材料未明确提及该模型在不同歧义类型、艺术风格或复杂句上的误差率与偏差。TIED需终端用户提供回答或选择；材料未明确提及用户不响应、拒绝选择或无交互时的回退策略与性能。VS-TIED自动得分低于QA-TIED，作者归因于少样本示例不足以泛化到多样视觉设定，但未通过增加示例实验证明该归因；公平性歧义也未报告消歧前后身份分布变化统计。
- 进一步研究方向
- 将人类评估扩展到GPT-2、OPT及全部六类与复杂/组合歧义，按类型分层抽样，比较QA-TIED与VS-TIED的成功率与用户选择一致性。针对VS-TIED低分，在每类歧义上系统增加few-shot示例数量，测量同类型解决与跨类型泛化曲线，检验“示例不足”解释是否成立。在DALL-E与DALL-E Mega上扩大图像生成规模，对拼接消歧提示与BART复述后的提示分别用VILT VQA和人类评估比较忠实度，确定复述策略的适用条件。对fairness歧义，在用户选定视觉设定后统计职业与身份相关生成分布，如医生/护士的性别呈现，验证消歧是否实际降低偏见。建立无用户交互的自动消歧基线，与QA-TIED、VS-TIED在相同TAB提示上比较，检验在无回答或无选择条件下图像忠实度的下降幅度与可替代性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications