基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

基于多尺度特征的无参考屏幕内容图像质量评估

屏幕内容图像是一种组合图像,由计算机将图形、文字和图像组合起来而形成.由于人类视觉系统是从粗略到精细进行图像信息的提取,本文提出一种基于多尺度特征的无参考屏幕内容图像质量评估算法.屏幕内容图像中包含大量的图形和文本内容,以及色彩和布局结构信息,因此我们提取失真图像的边缘特征、结构特征和亮度特征.然后将多个图像尺度上提取的特征进行拼接,作为最终的失真图像质量感知特征.最后使用随机森林回归方法训练得到无参考屏幕内容图像质量评估模型.实验结果表明,本文引入的多特征和多尺度机制是有效的,相比较目前先进的无参考方法,本文模型可以取得与主观感知更高的一致性,甚至在整体性能上超过了多数全参考方法.

CT图像的质量评估策略:基于预恢复图像先验信息

目的为有效提取更多无参考CT图像质量特征,本文提出一种基于预恢复图像先验信息的医用CT图像质量评估策略(PR-IQA),利用多信息融合输入提高IQA模型性能。方法基于卷积神经网络(CNN)的无参考医用CT图像质量评估策略。该方法利用图像恢复算法中的图像质量特征先验信息,将其以预恢复图像和恢复前后残差图像的形式,与原始失真图像信息融合输入到两个CNN中,通过多信息融合以提升CNN的特征提取能力和预测性能。实验使用基于Mayo诊所公开螺旋CT数据所建立的医用CT图像质量评估数据集。通过计算定量指标以及统计学检验对PR-IQA性能进行评估,分析了不同超参数设置对PR-IQA性能的影响。并将PR-IQA与基于单个CNN模型直接对原始失真图像进行NR-IQA的方法(BASELINE)以及8种经典的IQA算法进行对比实验。结果对比实验结果表明,基于3种不同图像恢复算法先验信息(双边滤波、非局部均值滤波、三维块匹配协同滤波)的PR-IQA模型性能优于所有对比IQA算法。并且相比BASELINE方法性能均有提升,其中PLCC平均提升12.56%,SROCC平均提升19.95%,RMSE平均降低22.77%。结论本文提出的PR-IQA方法能够充分利用图像恢复算法的先验信息,有效地预测医用CT图像质量。