基于自监督视觉Transformer的图像美学质量评价方法

现有的图像美学质量评价方法普遍使用卷积神经网络(CNN)提取图像特征,但受局部感受野机制的限制,CNN较难提取图像的全局特征,导致全局构图关系、全局色彩搭配等美学属性缺失。为解决该问题,提出基于自监督视觉Transformer(SSViT)模型的图像美学质量评价方法。利用自注意力机制建立图像局部块之间的长距离依赖关系,自适应地学习图像不同局部块之间的相关性,提取图像的全局特征,从而刻画图像的美学属性;同时,设计图像降质分类、图像美学质量排序和图像语义重构这3项美学质量感知任务,利用无标注的图像数据对视觉Transformer(ViT)进行自监督预训练,增强全局特征的表达能力。在AVA(Aesthetic Visual Assessment)数据集上的实验结果显示,SSViT模型在美学质量分类准确率、皮尔森线性相关系数(PLCC)和斯皮尔曼等级相关系数(SRCC)指标上分别达到83.28%、0.7634和0.7462。以上实验结果表明,SSViT模型具有较高的图像美学质量评价准确性。

基于深度特征融合的图像美学质量评价方法研究

图像美学质量评价旨在利用计算机模拟人类对美的感知与认知,自动评价图像的“美感”。尽管现有的基于深度学习的美学质量评价方法已经获得了很好的性能,但它们通常使用卷积神经网络(CNNs)中的高级特征进行美学预测,与美学预测高度相关的底层和中层的特征依旧被忽视。本文提出了基于深度特征融合的美学质量评价方法,该方法从卷积神经网络不同层中抽取特征做特征融合,用融合特征做图像美学分数的预测。为了评估深度特征融合算法的有效性,本文以MobileNetV2、VGG19和Inception-v3网络为基础构建3个深度特征融合网络,并在AVA数据集上进行实验。实验结果表明,相较于原网络中的高层特征,融合特征能显著提高美学预测性能。

基于双注意力机制和元迁移学习的个性化图像美学评价方法

个性化图像美学评价针对不同用户之间的个性化审美差异进行感知评估,取得了广泛的应用。然而,目前存在的大众化图像美学模型无法很好地适应小样本个性化图像美学评价任务。为解决该问题,提出了一种融合双注意力机制的EfficientNet网络和元学习的PIAA方法(DA-EBLG-PIAA),将单个用户的个性化打分分别组成不同的单个任务,使用EfficientNet网络作为主干网络,适应小样本学习任务,并融合了双注意力机制,更好地捕捉了空间和通道维度中的全局特征依赖关系。实验结果表明提出的个性化美学评价方法性能优于许多当前存在的模型,可以有效地应用于个性化图像美学感知评价。

基于美学质量评价的条件生成对抗网络线稿图像彩色化方法

目的为了更好地实现包装设计中符合用户美学感知需求的动漫图像元素,生成美感更高的彩色线稿图像,提出一种基于美学质量评价的条件生成对抗网络线稿图像彩色化方法(Conditional Image Colorization with Image Aesthetics GANs,IM-GAN)。方法采用Mish函数作为生成模型激活函数,并使用美学质量评价优化生成模型损失函数,实现线稿图像的自动彩色化任务。结果使用图像美学质量评分作为客观评价指标,观察者打分作为主观评价指标,对算法进行评价。IM-GAN生成的彩色图像具有更高美学质量评分和主观打分。结论文中方法能够完成线稿图像自动彩色化任务,在包装设计动漫形象应用方面具有一定的参考和使用价值。

基于轻量化网络模型的计算机图像美学评价

现阶段图像美学评估存在两个问题,首先网络模型复杂度高、参数量大;其次分别考虑图像的局部(细粒度)特征和全局特征,忽视其美学相关性。为使高性能的美学评价模型在移动端部署成为可能,通过对比不同轻量化主干网络对实验效果的影响,选取性能最优的轻量网络MobilenetV2作为基准网络,融合图像的浅层(局部)和深层(全局)特征进行特征增强,提高网络模型对美学特征的理解。与先进美学评价模型相比,性能提升且参数量大幅减少,为美学评价模型在边缘设备上的部署提供了新的研究思路。

基于视觉图像的城市照明美学评价研究

城市照明是现代城市文明的典型标识,对于交通安全保障、人居环境建设、城市形象表达、经济发展促进等方面发挥重要作用。作为城市照明的重要组成部分,景观照明结合城市历史底蕴与文化特色,能够提升人民幸福感知与艺术审美。本研究将计算机视觉和图像处理方法引入城市照明,构建基于景观照明图像的美学数据集,提取和筛选有效美学特征,优化机器学习算法形成具有准确性、有效性和高精度的粒子群优化算法—反向传播神经网络(PSO-BPNN)景观照明美学评价模型,并针对实际照明工程开展美学效果的客观定量评估。结果显示,平均相对误差(MRE)仅为8.26%,具有客观性和普适性。可见,本研究探索的基于视觉图像的照明美学评价应用方法,可为城市照明发展提供技术支持和参考依据,助力推进数字城市治理现代化的建设进程。

深度卷积神经网络在图像美学评价的应用综述

随着近年来深度学习的日益发展,图像美学评价逐渐成为一个新的热门研究课题,深度卷积神经网络在图像美学评价的应用成功地取得了可观的发展成果,并引起了广泛的关注。为了解决现有综述存在的文献概括不全、对该技术的发展情况认识不足的问题,先后从全局感知和局部感知、个性化查询、手工特征提取与深度卷积神经网络结合等角度对其发展情况进行了详细地阐述,对图像美学评价、图像裁剪、工具应用等应用情况作了分析,并从充分结合多场景、巧用构图规则、提前建立美学图像数据集等角度进行了未来工作展望。

结合美学特征的无参考色调映射图像质量评价

如何对色调映射图像(Tone-mapped Image, TMI)质量进行有效评价是图像处理领域亟待解决的问题.现有方法仅是低动态范围图像质量评价方法的改进,并未考虑TM图像本身独有的特点.基于此,本文提出了一种结合美学特征的TMI质量评价方法.从颜色保真度、色温分布、对比度、黑暗度、自然度5个方面出发提取图像的美学特征,并在梯度域、张量域、高斯差分域和拉普拉斯域提取变换域特征,利用支持向量回归训练得到质量评价模型.在ESPL-LIVE HDR库上的实验表明,现有代表性方法的Spearman秩相关系数最高为0.752,而所提出模型可达0.766,与人眼感知结果具有更强的一致性.

基于深度学习的人脸美学质量评价方法研究

人脸美学质量评价旨在应用计算机技术来模仿人类对美的感觉与理解过程,进而实现对人物面部图像吸引力的自动判定。传统人脸美学研究过多地依赖于手工制作的人脸特征,且主要关注整体的面部特征,而忽略了面部各个区域的局部特征。针对上述问题,提出了一种基于深度学习的人脸美学质量评价方法研究。首先,用MTCNN提取面部结构化特征,并作为辅助信息输入到网络中参与训练;然后,在MobileNet V2网络中融入并行注意力机制网络模块,提取具有代表性的局部特征;最后,将注意力机制输出的特征输入到全连接层,完成人脸吸引力预测任务。在SCUT-FBP5500和CelebA数据集的实验结果表明,基于并行注意力机制的人脸美学质量评价方法与以往先进方法相比,在CelebA脸部数据库中,使得脸部吸引力的精确度提高了1.5%。在SCUT-FBP5500数据集中,使得脸部吸引力的评分在评价指标上增加了0.026点,为基于人脸吸引力自动调整人脸图像的研究提供有效支撑。

基于兴趣点密度加权的图像美学质量评价

针对现有方法没有充分考虑图像空间美学信息,并且评价效果过分依赖于主体区域识别效果的问题,提出一种基于兴趣点密度加权的图像美学质量评价模型。首先对图像进行超像素分割和兴趣点检测并提取特征描述子,然后统计超像素块内的兴趣点个数,根据兴趣点密度对超像素块内的特征描述子进行加权并进行局部约束线性编码处理,最后利用机器学习方法进行图像美学质量评价。实验结果表明该方法用来图像美学质量评价大大减少了特征维度和计算时间,提高了评价模型的准确率。

图像美学质量评价综述

近年来,由于高美学质量图像的需求越来越多,图像美学质量评价成为热门研究课题之一。深度学习的发展极大推动了图像美学质量评价的发展。图像美学质量评价常用的数据集有Aesthetic Visual Analysis(AVA)数据集、Aesthetics and Attributes DataBase(AADB)数据集和CUHK-Photo Quality(CUHK-PQ)数据集。图像美学质量评价的研究方法主要分为两个类型,基于手工设计美学特征的方法与基于深度学习的图像美学质量评价方法。基于手工设计美学特征的方法是根据摄影规则或图像内容人工设计美学特征,再利用机器学习方法对图像进行高低质量分类。基于深度学习的图像美学质量评价方法是用卷积神经网络自动提取图像的美学特征,并对图像进行高低质量分类。图像美学质量评价用准确率(Acc)、均方误差(Mse)、平均绝对误差(Mae)、中位数绝对误差(Med)来度量模型的有效性。

基于深度学习的界面设计美学评价研究

目的 美感已经成为人机交互(HCI)的核心结构之一,对用户的感知和态度具有明显的有益影响.然而界面美观性评价方法仍是设计师及其团队所面临的重要问题.引入深度学习技术来探讨其评价界面设计美感的可能性.方法 分别使用基于深度卷积神经网络的闪屏美学分类方法和Google提出的基于深度学习NIMA神经网络,来预测闪屏图像的美学评价分布.结果 通过研究发现,使用基于深度学习NIMA神经网络可以得到比传统方法更具体的评价结果,帮助设计师有效而客观地评价界面设计.结论 将计算机图像美学评价的研究领域拓展到界面设计领域,验证了深度卷积神经网络在界面设计美学评价领域使用的可行性.未来图像美学评价还可以介入更多的设计相关领域,辅助设计师做出更有效的设计和商业决策.

多指标融合的人物图像美感评价算法研究

本文针对人物图像,提出一种根据人类视觉及审美习惯来评价其美学价值的可计算方法,从技术特征、感知特征和社会特征3个方面对图像进行特征提取并作为评价指标,融合各指标建立美感评价模型,采用在线调研的方式确定各指标的影响因子,从而实现人物图像美感自动评价.在香港中文大学人物图像美学质量评价数据集(CUHKPQ)上的实验测试结果表明,本文提出的方法准确率可达到98.08%,具有一定的有效性,并且各指标的评价结果清晰直观,可以从各角度对提高图像美学质量起到指导作用.通过将模型集成到手机应用程序中,能够对用户上传的多张人像照片进行美感评价和打分,并依据评分结果选择保留或删除的照片,从而简化用户操作.

融合色彩和谐性与构图的图像美学分类方法研究

图像美学评价通过构建模拟人脑审美思维的计算模型,对图像作出具有可行性的美学决策。针对现有方法特征选择单一以及无法适用所有类型图像的问题,提出一种基于改进的色彩和谐性并融合构图的图像美学评价方法。现有的色彩和谐性提取方法没有考虑色彩调和模型,只适用于比较简单的颜色组合。为此,提出一种改进的色彩和谐性度量方法。为了更好地对各类图像进行美学分类,又融合了构图特征。在Datta数据库上进行实验,证明了该方法的有效性和普适性。

基于深度多任务学习的图像美感与情感联合预测研究

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的.受此启发,采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联.具体来说,提出一种自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中,根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出一种任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习.此外,构建了一个大规模的图像美学情感联合数据集UAE.据已有研究,该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.

图像美学质量评价技术发展趋势

图像质量评价是利用计算机模拟人类视觉系统自动评价图像的失真程度,而图像美学质量评价是利用计算机模拟人类对美的感知与认知,自动评价图像的＂美感＂,分析图像在构图、颜色、光影、景深、虚实等美学因素影响下所形成的美感刺激,这是计算美学与计算机视觉、心理学、虚拟现实等领域的学科交叉新方向,其在摄影摄像、电影电视、电子商务、服装设计、平面设计、文稿设计、工业设计、汽车行业、建筑行业、美容美妆等多个行业具有良好的应用前景。本文回顾了图像美学质量评价的发展历史,从基于人工设计美学特征的方法、基于美学特征深度学习的方法、图像美学质量评价的新任务、图像美学质量评价数据集构建等方面综述了该领域关键技术的发展情况,并展望了图像美学质量评价及其关键技术的发展趋势。

网络爬虫的图像美学质量数据库及其美学评价系统设计

本文提出了一种基于网络爬虫建立图像美学数据库并评价图像美学的方法.首先使用网络爬虫获取数据库图像,然后提取图像的美学特征,进行美学评价.本方法提取的美学特征涉及了全局和区域特征两方面,因此在特征提取之前需要使用功率谱斜度的方法分离图像的主题、背景区域.实验结果表明,本方法可以较好地抓取并且分析网络图像,并且评价方法与人类的主观感知有很好的一致性,能准确地反映人类的美学鉴赏系统.

个性化图像美学评价的研究进展与趋势

图像美学评价方法是当前研究的热点问题。图像美学评价分为大众化和个性化两种。大众化图像美学评价主要研究大多数人对图像共同的审美感知评估,而个性化图像美学评价可以针对用户的个性化审美感知进行评估。现有的研究工作主要集中在大众化图像美学评价上,但是由于人们对图像的审美体验具有高度主观性,研究针对特定用户的个性化图像美学评价方法更加符合现实意义。目前研究人员针对个性化图像美学评价展开了相关研究,并取得了一定的研究进展。但是现有的文献中缺少对个性化图像美学评价方法的综述,本文针对个性化图像美学评价的研究进展与趋势进行概述。首先分析图像美学评价的研究现状与发展趋势;然后针对现阶段的个性化图像美学评价模型进行概述,将现有的个性化图像美学评价模型总结为基于协同过滤的模型、基于用户交互的模型和基于审美差异的模型,并分析这3类模型主要的设计思路以及优缺点;最后介绍个性化图像美学评价在精准营销、个性化推荐系统、个性化视觉增强和个性化艺术设计上的应用前景,并指出未来研究工作在主观特性分析和知识驱动建模等方面的发展方向。

融合场景信息的图像美学属性评价

目的 图像美学属性评价可以提供丰富的美学要素,极大地增强图像美学的可解释性。然而现有的图像美学属性评价方法并没有考虑到图像场景类别的多样性,导致评价任务的性能不够理想。为此,本文提出一种深度多任务卷积神经网络(multi task convolutional neural network, MTCNN)模型,利用场景信息辅助图像的美学属性预测。方法 本文模型由双流深度残差网络组成,其中一支网络基于场景预测任务进行训练,以提取图像的场景特征;另一支网络提取图像的美学特征。然后融合这两种特征,通过多任务学习的方式进行训练,以预测图像的美学属性和整体美学分数。结果 为了验证模型的有效性,在图像美学属性数据集(aesthetics and attributes database, AADB)上进行实验验证。结果显示,在斯皮尔曼相关系数(Spearman rank-order correlation coefficient, SRCC)指标上,本文方法各美学属性预测的结果较其他方法的最优值平均提升了6.1%,本文方法整体美学分数预测的结果较其他方法的最优值提升了6.2%。结论 提出的图像美学属性预测方法,挖掘了图像中的场景语义与美学属性的耦合关系,有效地提高了图像美学属性及美学分数预测的准确率。

基于多层级注意力融合的图像美学重定向

随着5G的发展和多种显示终端的出现,图像重定向算法倍受关注。目前大多数的算法没有考虑到重定向后图像的美学分布,因而影响了人类的视觉美学感知。鉴于此现状,提出了一种基于多层级注意力融合的图像美学评价网络,通过对不同细粒度的特征的提取,并根据注意力机制自适应地融合后获得美学信息,将学习到的美学信息与图像的显著图、梯度图和直线特征图融合作为具有美学分布的重要度图,以此来指导多操作的图像重定向算法。通过实验验证了生成的重要度图能够很好地保护图像重定向中的美学信息,图像重定向结果相较于主流方法具有更好的视觉感知效果。