基于绘画的图像学分类数据集与卷积模型
A Dataset and a Convolutional Model for Iconography Classification in Paintings
Federico Milani, Piero Fraternali
Journal on Computing and Cultural Heritage · 2021-07-16
开放获取艺术理论被引 57学科公认顶刊影响因子 ≈3.5
摘要
艺术中的图像学是一门研究艺术品视觉内容的学科，旨在确定其图案与主题，并揭示这些元素的呈现方式。该领域是诸多研究的重点，相关研究目的包括解读作品含义、探究特定图像在时空中的起源与传播路径，以及分析艺术家之间及艺术作品之间的相互影响。随着艺术图像数字档案的日益丰富，运用计算机视觉技术对艺术图像进行大规模分析成为可能，这为图像学研究与艺术教育提供了有力支撑。本文提出了一种用于图像学分类的新型绘画数据集，并展示了应用卷积神经网络分类器识别艺术品图像学的定量与定性结果。所提出的分类器在识别基督教宗教绘画中的圣徒形象任务中表现优异（精确率为71.17%，召回率为70.89%，F1分数为70.25%，平均精确度为72.73%），该任务因部分类别的视觉特征极为相似而颇具挑战性。对结果的定性分析表明，卷积神经网络能够聚焦于刻画各圣徒形象的传统标志性图案，并借助这些线索实现准确识别。本研究的最终目标是实现图像学要素的自动提取、分解与比较，从而为图像学研究及艺术品自动标注提供支持。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 本文旨在将计算机视觉技术应用于大规模艺术图像分析以辅助图像学研究，提出了一种基于卷积神经网络的基督教圣徒图像志分类模型。研究表明，该模型能够有效识别绘画中的圣徒类别，其机制在于模型成功捕捉并依赖了各类圣徒传统的标志性视觉母题进行判断，即便在类别视觉特征高度相似的情况下仍取得了较好的分类效果。
- 研究方法
- 研究构建了包含约4.2万幅图像的ArtDL数据集，通过多渠道采集并利用姿态检测等技术进行去重、损坏图像过滤及人工标注。在模型训练上，采用在ImageNet上预训练的卷积神经网络并结合迁移学习策略，以应对艺术领域标注数据不足的问题。此外，运用类激活映射等可解释性技术对模型的分类依据进行了定性分析。
- 学术贡献
- 本文的主要贡献在于创建了首个专门针对绘画图像志分类的大规模公开数据集ArtDL，填补了该领域高质量标注数据的空白。同时，验证了迁移学习与卷积神经网络在处理视觉同质性强、特征相似的图像志分类任务中的有效性，并通过可解释性分析证实了模型能够像艺术史学家一样关注传统的标志性母题。
- 存在局限
- 艺术图像相较于自然图像视觉同质性更高，增加了类别区分的难度，且不同圣徒类别间常存在高度相似的视觉特征，容易导致分类混淆。此外，数据集存在长尾现象，部分类别样本不足，且目前仅提供图像级标注，缺乏对图像志构成要素的细粒度标注。
- 进一步研究方向
- 未来的研究应致力于实现图像志元素的自动提取、分解与比较，以支持更深层的图像志研究与艺术品自动标注。此外，需攻克多实例目标检测这一更具挑战性的难题，以精确定位图像志类别核心要素所在的图像区域，并推动构建具备对象级和像素级细粒度标注的数据集。
本综述由 AI（GLM-5.1）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Aesthetic Perception and Analysis