跳到主内容
人工智能

生成式文生图模型的风险类型学

Typology of Risks of Generative Text-to-Image Models

Charlotte Bird, Eddie L. Ungless, Atoosa Kasirzadeh

arXiv (Cornell University) · 2023-07-08

开放获取生成式与扩散被引 2影响因子 ≈0.2

摘要

本文通过系统的文献综述,探讨了以DALL-E、Midjourney为代表的现代文生图生成模型所带来的直接风险与危害。尽管这类模型在图像生成领域展现出前所未有的能力,但其研发与应用也催生了诸多需要予以重视的新类型风险。尽管部分风险已得到初步应对,但相关研究中仍存在显著的知识缺口,对这类风险的认知与处置机制尚不完善。本研究针对六大核心利益相关方群体梳理了涵盖未被探究问题的风险分类体系,并提出了未来的研究方向。研究共识别出22种不同类型的风险,涉及数据偏差到恶意滥用等多个层面。本文旨在推动关于模型负责任开发与部署的持续性讨论,通过揭示此前被忽视的风险与不足,为后续相关研究及治理举措提供指引,推动文生图模型向更负责任、更安全且符合伦理规范的方向发展。

本摘要由 AI(Hy-MT2-Pro)翻译生成,仅供参考,请以原文为准。

AI 综述

基于全文生成
主要观点
论文以 DALL-E、Midjourney、Stable Diffusion 等生成式文本到图像模型为对象,通过文献综述识别其直接风险与危害,指出模型虽具前所未有的图像生成能力,却在开发与使用中引入需审慎对待的新型风险。作者提出一个覆盖六类利益相关者——系统开发者、数据来源、数据主体、用户、受影响方、监管者——的风险类型学,归纳出 22 种风险类型,并划分为“歧视与排斥”“有害滥用”“错误信息与虚假信息”三大类。类型学区分“预期的”风险与“已观察的”风险,前者多由研究者基于专业判断预测,后者已有实证调查支撑,显示不少风险仍缺乏实证测量。论文还揭示数据来源与数据主体在同意、署名、版权与隐私方面的权力不对等,并指出生成图像可能复制训练数据、强化西方文化霸权与性别/种族/残障/阶级刻板印象,甚至通过“数据回收”影响机器人等下游技术。在创意领域,论文关注 TTI 对艺术家、游戏开发者等创意劳动者造成的岗位替代与财务损失风险,以及无意抄袭、数字伪造和西方艺术风格主导等问题。
研究方法
采用综合性文献综述,先以 8 篇种子论文进行初始检索,再辅以人工检索,检索方法详述于附录 A,材料未展开具体数据库、时间范围与纳入排除标准。对收集文献按直接风险、利益相关者与实证调查进行编码分析,形成风险类型学;表 1 列出风险、利益相关者、危害类型以及“预期/已观察”证据来源。利益相关者分类借鉴 Langer 等人的开发者、用户、监管者与受影响方四类,并扩展出“数据来源”和“数据主体”两类;危害性质采用代表性 harm 与分配性 harm 的区分。论文借鉴 Weidinger 等人的分类,将分析限定于直接风险,并参考 Blodgett 等人关于社会层级、语言意识形态与 NLP 系统共构的追问来组织利益相关者权力分析。案例分析覆盖 Stable Diffusion、DALL-E 2、DALL-E mini、Midjourney 等模型,引用 Bianchi 等、Cho 等、Yu 等、Hutchinson 等、Ungless 等的实证或审计结果。
学术贡献
在理论建构层面,论文提出面向文本到图像生成模型的风险类型学,将 22 种风险归入三大类并映射至六类利益相关者,为 AI 伦理、AI 安全与 AI 治理子领域提供可操作的概念框架。在方法层面,论文以“预期风险/已观察风险”的区分组织文献,凸显哪些风险已有实证证据、哪些仍停留在预测阶段,有助于后续研究优先排序。在材料与议题发掘层面,论文将“数据来源”与“数据主体”纳入利益相关者,并把同意、署名、隐私与冲突同意等问题与版权话语并置,扩展了生成式 AI 风险讨论的 stakeholder 范围。对艺术与创意产业研究而言,论文把创意劳动者岗位替代、数字伪造、无意抄袭、西方艺术风格主导与艺术“民主化”承诺并置,提示 TTI 对美术、设计、游戏等子领域的劳动与美学权力关系具有直接分析价值。论文还讨论现有监管工具如 EU AI Act、AI Liability Directive、Product Liability Directive、Digital Services Act、Digital Markets Act 对 TTI 风险的可能适用,为 AI 治理与政策研究提供议题清单。
存在局限
材料明确将分析限定于“直接风险”,未系统处理间接、长期或结构性风险,可能低估生成式 TTI 对文化生产与艺术生态的累积影响。类型学三大类被作者承认“并非互斥”,风险条目之间存在重叠,且六类利益相关者与 22 种风险的映射在表 1 中多处出现空白或证据不平衡,分类边界与编码一致性在材料中未明确说明。研究方法依赖 8 篇种子论文加人工检索的文献综述,材料未明确提及检索数据库、时间范围、纳入排除标准、文献筛选流程与编码者间信度,难以判断覆盖完备性与可复现性。大量风险标注为“预期”而缺乏“已观察”证据,例如方言偏见、发布前审核、网络安全威胁等条目在表 1 中未见实证来源,导致风险严重性、发生频率与因果机制无法从材料中确证。材料未明确提及对类型学进行专家验证、利益相关者访谈或跨文化适用性检验,也未见对非英语提示、全球南方用户与封闭网络用户经验的系统样本设计。
进一步研究方向
针对表 1 中仅有“预期”而无“已观察”证据的风险,如方言偏见、发布前审核、网络安全威胁、宗教与年龄偏见,设计可复现的模型审计:构建多语言/多方言、多宗教、多年龄提示集,对 DALL-E 2、Stable Diffusion 等模型批量生成并编码输出。对已观察风险,如非自愿性影像、儿童性化图像、版权侵权、检测与分类偏差,开展跨模型、跨语言、跨地域比较实验,记录不同提示策略、安全绕过与“后门”注入条件下的输出比例与受害者分布。追踪生成图像进入下游训练数据的路径,尤其是“数据回收”到机器人等下游技术的情形,采用数据集溯源与内容指纹方法检验刻板印象与错误信息如何跨域传播。围绕数据来源与数据主体的同意、署名、隐私和冲突同意问题,开展创作者与图像主体的访谈或参与式研究,比较不同司法辖区与平台政策下的实践差异。评估 EU AI Act、AI Liability Directive、Product Liability Directive、Digital Services Act、Digital Markets Act 等工具在 TTI 隐私、知识产权、网络安全与虚假信息议题上的可适用性,通过政策文本分析与案例推演提出具体修法或执法路径。在艺术与创意产业层面,可对游戏、插画、设计等行业进行劳动者追踪调查与平台劳动研究,检验 TTI 使用与岗位替代、收入变化、风格同质化之间的关联。

本综述由 AI(deepseek-flash)阅读开放获取全文自动生成,仅供参考,不代表原文作者观点,请以原文为准。

参考文献

相关论文

话题:Ethics and Social Impacts of AI