基于无参考质量评估的会议电视运维系统研究

会议电视系统运维是保证系统稳定高效运行的重要工作,而用户希望通过自动化的方式完成日常运维工作。为此,文中首先分析了会议电视系统及音视频质量评估方法的现状,然后在会议电视智能化运维系统建设目标和定位的基础之上,从系统总体架构出发,归纳运维业务需求,建立系统应用架构和数据分类,并提出系统逻辑架构和逻辑分层的技术实现方式,最后对系统安全、应用集成的设计方法进行分析。文中详细阐述了基于无参考音视频质量评估方法的会议电视智能化运维系统的设计,实际应用表明该系统实现了会议自动巡检及故障排查,建立了完善的会议质量评估方法,在流程上实现了会议的闭环,可以满足会议电视系统运维工作自动化、智能化的需求。

基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

基于支持向量回归的无参考屏幕内容图像质量评估

提出一种新的基于支持向量回归的无参考屏幕内容图像质量评估算法.首先,利用高斯差分函数计算边缘图,通过边缘图提取边缘特征;其次,通过局部归一化获得亮度图,根据亮度图统计亮度特征;最后,利用支持向量回归算法将质量感知特征映射为主观分数.在两个数据集上的实验结果表明,所提算法的性能优于大部分现有算法.

基于边缘和结构的无参考屏幕内容图像质量评估

屏幕内容图像(SCI)是一种与传统自然图像不同的图像,具有更多的文本、图形以及特殊的布局。考虑文本、图形、图像和布局对屏幕内容图像质量的影响,提出了针对屏幕内容图像的基于边缘和结构的无参考质量评估(BES)算法。文本、图形和图像具有大量边缘,并且人类视觉系统对边缘高度敏感,因此BES算法首先使用Gabor滤波器的虚部提取边缘并计算每张屏幕内容图像的边缘特征。其次,提取一个结构特征来表示屏幕内容图像的布局。具体而言,利用Scharr滤波器计算得到一个局部二值模式(LBP)图,接着利用LBP图计算得到结构特征。最后,应用随机森林回归算法将边缘和结构特征映射为主观分数。实验结果表明,在数据库SIQAD和SCID上,所提出BES算法性能的皮尔森线性相关系数(PLCC)相对于对比算法中最先进的无参考算法,分别提高了2.63%和11.22%,甚至高于一些全参考算法。

一种网络丢包的无参考视频质量评估方法

针对网络视频质量评估需要满足实时性高、资源开销小等要求,在研究不同类型帧的丢包对视频质量影响的基础上,提出一种不需要对视频解码的无参考网络视频质量评估模型.该方法不必对接收到的码流解码,只通过码流的包头分析即可得到视频的时域复杂度;并通过研究不同帧类型的丢失对视频质量的影响,提出一种无参考的网络视频质量评价模型来预测网络失真视频质量.该方法不仅考虑到人眼视觉系统的空域掩盖效应和时域掩盖效应对视频质量的影响,而且也考虑了不同类型的帧的丢包对视频质量的影响.提出的模型不需要对视频进行完全解码,具有资源开销小、实时性好的特点,适合对实时传输的视频流进行质量评估.实验结果表明,使用该视频质量评估方法测得的视频丢包失真质量评分与其主观质量评分有很好的一致性,相比于国际标准G.1070中的丢包视频质量评价模型,无参考的网络视频质量评价模型与主观质量评价的相关性平均提高了6.96%.

无参考船舶立体图像的质量感知特征提取

船舶立体图像的特征提取能够获取船舶的几何特征、视觉特征、纹理特征等,对于船舶识别、目标搜索等有重要的意义。获取过程受图像、视频设备、数据传输链路等影响,立体图像可能存在局部缺失等问题。本文首先介绍3种立体图像的质量评估方法,并针对无参考质量评价方法进行研究,详细介绍基于颜色、自然度的无参考质量感知特征提取和基于局部分析的无参考船舶立体图像质量特征提取,对于改善船舶立体图像的识别效果有显著的作用。

移动端人脸图像无参考质量快速评估方法

人工智能系统能够准确进行人脸识别的重要前提是,采集到的人脸图像数据足够清晰.正确的对人脸图像质量进行评估,能够为后期的人脸识别提供指导性的意见.本文针对移动端进行人脸识别时,由于人脸采集过程中常常会出现人脸图像模糊、姿态不正、昏暗等情况,从而导致人脸识别错误的问题,提出了一种基于深度学习的移动端人脸图像无参考质量评估方法.由于目前没有公开的用于评估人脸图像质量的数据集,本文采用自建数据集的形式进行实验.首先对数据集中的人脸图像进行局部归一化预处理,然后利用该数据集通过迁移学习的方式对轻量级网络MobileNet重新训练,并将训练得到的最终模型移植到手机上.为了证明本文提出算法的优异性,对算法准确率、运行时间和CPU占用率进行测量并和现有的优异算法DIIVINE和BRISQUE进行比较,实验结果证明本文提出的方法能够快速准确的对人脸图像进行评估同时CPU占用率较低,本文提出的方法有重要的应用价值.

基于多尺度特征的无参考屏幕内容图像质量评估

屏幕内容图像是一种组合图像,由计算机将图形、文字和图像组合起来而形成.由于人类视觉系统是从粗略到精细进行图像信息的提取,本文提出一种基于多尺度特征的无参考屏幕内容图像质量评估算法.屏幕内容图像中包含大量的图形和文本内容,以及色彩和布局结构信息,因此我们提取失真图像的边缘特征、结构特征和亮度特征.然后将多个图像尺度上提取的特征进行拼接,作为最终的失真图像质量感知特征.最后使用随机森林回归方法训练得到无参考屏幕内容图像质量评估模型.实验结果表明,本文引入的多特征和多尺度机制是有效的,相比较目前先进的无参考方法,本文模型可以取得与主观感知更高的一致性,甚至在整体性能上超过了多数全参考方法.

基于自然场景统计的无参考图像质量评价（英文）

目前基于自然场景统计的无参考图像质量评价方法 BRISQUE算法(Blind/Referenceless Image Spatial Quality Evaluator)是这类算法的典型代表;但它仅在原始图像基础上做统计分析,且忽略了各特征间的差异性。由此提出了新的改进算法BRISQUEs,并通过三个步骤实现:将被测图像的梯度图做去均值对比归一化处理,在此基础上构造新的特征向量来评价图像质量;将BRISQUE中的关键特征进行适当加权,并对图像再次评价;平均上述两次评价来进一步降低算法的偏差。通过LIVE数据库上的实验,BRISQUEs的统计评价性能明显好于之前的无参考评价算法,也要优于多尺度结构相似度指标。

CT图像的质量评估策略:基于预恢复图像先验信息

目的为有效提取更多无参考CT图像质量特征,本文提出一种基于预恢复图像先验信息的医用CT图像质量评估策略(PR-IQA),利用多信息融合输入提高IQA模型性能。方法基于卷积神经网络(CNN)的无参考医用CT图像质量评估策略。该方法利用图像恢复算法中的图像质量特征先验信息,将其以预恢复图像和恢复前后残差图像的形式,与原始失真图像信息融合输入到两个CNN中,通过多信息融合以提升CNN的特征提取能力和预测性能。实验使用基于Mayo诊所公开螺旋CT数据所建立的医用CT图像质量评估数据集。通过计算定量指标以及统计学检验对PR-IQA性能进行评估,分析了不同超参数设置对PR-IQA性能的影响。并将PR-IQA与基于单个CNN模型直接对原始失真图像进行NR-IQA的方法(BASELINE)以及8种经典的IQA算法进行对比实验。结果对比实验结果表明,基于3种不同图像恢复算法先验信息(双边滤波、非局部均值滤波、三维块匹配协同滤波)的PR-IQA模型性能优于所有对比IQA算法。并且相比BASELINE方法性能均有提升,其中PLCC平均提升12.56%,SROCC平均提升19.95%,RMSE平均降低22.77%。结论本文提出的PR-IQA方法能够充分利用图像恢复算法的先验信息,有效地预测医用CT图像质量。