当前位置: X-MOL 学术J. Visual Commun. Image Represent. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
基于混合 CNN-transformer 的元学习方法,用于个性化图像美学评估
Journal of Visual Communication and Image Representation ( IF 2.6 ) Pub Date : 2023-12-30 , DOI: 10.1016/j.jvcir.2023.104044
Xingao Yan , Feng Shao , Hangwei Chen , Qiuping Jiang

个性化图像美学评估(PIAA)具有很强的主观性,因为人们的审美偏好差异很大。传统的通用模型很难捕捉每个人的独特偏好,而 PIAA 通常处理来自个人用户的有限样本。此外,它需要全面考虑图像中的各种视觉特征,包括局部和全局特征。为了应对这些挑战,我们提出了一种创新网络,将 Transformer 和卷积神经网络 (CNN) 的强大功能与 PIAA 元学习 (TCML-PIAA) 相结合。首先,我们利用 Vision Transformer 块和 CNN 来提取长期和短期依赖关系,从这两个分支中挖掘更丰富和异构的美学属性。其次,为了有效融合这些不同的特征,我们引入了审美特征交互模块(AFIM),旨在无缝集成从 CNN 和 ViT 中提取的审美特征,从而实现不同模态的审美信息的交互和融合。我们还整合了通道空间注意力模块(CSAM),将其嵌入到 CNN 和 AFIM 中,以增强对图像中不同区域的感知,进一步探索图像中的美学线索。实验结果表明,我们的 TCML-PIAA 在基准数据库上优于现有最先进的方法。





"点击查看英文标题和摘要"

更新日期:2023-12-30
down
wechat
bug