基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

基于神经网络的屏幕内容图像质量评估

随着计算机移动网络技术快速发展,实现屏幕内容图像的分发和处理达到信息共享尤为重要。本文提出了一种基于深度学习卷积神经网络(Convolution neural network,CNN)的屏幕内容图像质量评估方法。人类视觉系统针对文字区域和图像区域具有不同的关注点,所以不能从单一的特征去判断图片的质量,通过设计更深层次的卷积神经网络从而达到多特征提取的目的。本模型使用全卷积网络(Full convolution network,FCN)将屏幕内容图像分割成文字区域和图片区域,利用深层次CNN分别对文本区域和图片区域进行质量评估,通过融合策略将分数整合在一起得到图像的整体质量得分。本模型允许局部质量和局部权重的联合学习,以数据为主导进行驱动,并且不依赖手工特征和图像统计的知识。在两个公开数据集上的实验结果表明,所提出的方法性能相比于目前的方法在主观感知上取得了更高的一致性。

中文文本屏幕内容图像通用视频编码标准编码感知失真研究

为了探索最新一代通用视频编码标准(versatile video coding, VVC)对中文文本屏幕内容图像(text screen content image, TSCI)感知质量的影响,设计图像主观观测实验并基于VVC混合编码框架原理研究了中文TSCI的VVC编码感知失真。构建中文文本屏幕内容图像数据库(Chinese text screen content image dataset, CT-SCID),设计图像主观观测实验,分析VVC引起的中文TSCI感知失真类型及其发展路径;结合VVC的混合编码框架原理,理论分析并实验验证影响VVC编码的中文TSCI感知失真程度的因素;总结当前代表性的屏幕内容图像质量评价方法在中文TSCI VVC编码感知失真评测上的性能表现。实验结果表明:字体大小和对比度是影响中文TSCI VVC编码感知质量的重要因素,且中文TSCI的字体越小、对比度越低时,图像的感知质量等级越低;当前代表性的屏幕内容图像质量评价方法均无法给出完全符合人眼感知特性的质量评价结果。研究对于后续开发适用于中文TSCI的感知质量评价方法、高效编码方法等具有指导意义。

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像(screen content image,简称SCI)的分发和处理与日俱增.图像质量评价课题的研究是其他许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此,针对屏幕图像质量评价的研究就变得非常迫切和必要.客观图像质量评价算法提出的基础建立在标准图像质量评价数据库上.首先构建了一个大规模的屏幕内容图像质量评价数据库(immersive media laboratory screen content image quality database,简称IML-SCIQD).IML-SCIQD数据库包含参考图像25幅以及经过10种失真处理的1 250幅失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像的图像区域与文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,提出了针对屏幕内容图像的无参考评价算法(natural scene statistics based no reference screen content image quality assessment metric,简称NSNRS).NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其他12种经典的客观评价算法,包括全参考算法、部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明,所提出的算法优于经典的无参考评价算法;就整个数据库而言,所提出的算法可以达到与全参考方法相当的性能.

基于支持向量回归的无参考屏幕内容图像质量评估

提出一种新的基于支持向量回归的无参考屏幕内容图像质量评估算法.首先,利用高斯差分函数计算边缘图,通过边缘图提取边缘特征;其次,通过局部归一化获得亮度图,根据亮度图统计亮度特征;最后,利用支持向量回归算法将质量感知特征映射为主观分数.在两个数据集上的实验结果表明,所提算法的性能优于大部分现有算法.

基于多尺度特征的无参考屏幕内容图像质量评估

屏幕内容图像是一种组合图像,由计算机将图形、文字和图像组合起来而形成.由于人类视觉系统是从粗略到精细进行图像信息的提取,本文提出一种基于多尺度特征的无参考屏幕内容图像质量评估算法.屏幕内容图像中包含大量的图形和文本内容,以及色彩和布局结构信息,因此我们提取失真图像的边缘特征、结构特征和亮度特征.然后将多个图像尺度上提取的特征进行拼接,作为最终的失真图像质量感知特征.最后使用随机森林回归方法训练得到无参考屏幕内容图像质量评估模型.实验结果表明,本文引入的多特征和多尺度机制是有效的,相比较目前先进的无参考方法,本文模型可以取得与主观感知更高的一致性,甚至在整体性能上超过了多数全参考方法.

基于边缘和结构的无参考屏幕内容图像质量评估

屏幕内容图像(SCI)是一种与传统自然图像不同的图像,具有更多的文本、图形以及特殊的布局。考虑文本、图形、图像和布局对屏幕内容图像质量的影响,提出了针对屏幕内容图像的基于边缘和结构的无参考质量评估(BES)算法。文本、图形和图像具有大量边缘,并且人类视觉系统对边缘高度敏感,因此BES算法首先使用Gabor滤波器的虚部提取边缘并计算每张屏幕内容图像的边缘特征。其次,提取一个结构特征来表示屏幕内容图像的布局。具体而言,利用Scharr滤波器计算得到一个局部二值模式(LBP)图,接着利用LBP图计算得到结构特征。最后,应用随机森林回归算法将边缘和结构特征映射为主观分数。实验结果表明,在数据库SIQAD和SCID上,所提出BES算法性能的皮尔森线性相关系数(PLCC)相对于对比算法中最先进的无参考算法,分别提高了2.63%和11.22%,甚至高于一些全参考算法。

基于LBP的屏幕内容图像评价CNN模型

针对传统图像质量评价模型在屏幕内容图像上存在的无法取得满意结果的问题,本文提出一种基于深度学习模型的屏幕内容图像评价模型。首先将屏幕内容图像进行归一化处理,用局部二值化(local binary pattern,LBP)算法旋转不变均匀模式求得特征图,并运用卷积神经网络对局部二值化特征图进行质量评价。为验证所提出的屏幕内容图像质量评价模型的准确性,采用斯皮尔曼秩相关系数和皮尔斯线性相关系数两种流行的评估标准进行验证。验证结果表明,本文模型与传统的质量评价模型相比具有明显的优势,表明本模型比大多数现有的图像质量评估(image quality assessment,IQA)模型更符合主观评估结果,相比于其他评价模型更具有竞争性。该研究为提升评估结果的精准度提供了理论依据。

屏幕内容编码方法研究进展

随着云计算、虚拟桌面等的普遍推广,屏幕内容图像已成为新一代云——移动计算模型——不可或缺的一部分.研究压缩效率高、实时性好、复杂性适中的屏幕内容编码方法是目前视频编码领域的热点问题之一.从空间域、频率域、时间域和颜色空间4方面分析了屏幕内容图像的数据统计特性,进而重点阐述不连续色调图像的典型编码方法,将现有方法分为基于调色板-索引图的编码算法、基于模板匹配的编码算法、基于块匹配的编码算法、基于字典的编码算法、基于形状表示的编码算法以及时间域编码方法、色度编码方法,并进一步总结基于混合框架的屏幕内容编码方法,对各类算法的优势和存在的不足进行比较、分析和讨论.在此基础上,介绍了HEVC-SCC编码国际标准制定工作的进展,并对屏幕内容编码的未来发展趋势进行了展望.

采用边缘信息的屏幕图像质量评价

考虑到人类视觉系统(HVS)对边缘信息比较敏感且屏幕图像中包含大量边缘信息,本文提出采用边缘信息的屏幕图像质量评价方法。该方法首先从空域和频域分别提取参考和失真屏幕图像的边缘信息进而得到边缘信息相似度图,接着基于边缘信息提取屏幕图像中人眼感兴趣区域,最后利用感兴趣区域加权对所得边缘相似度图进行融合计算以获取最终评价分数值。实验结果表明所提算法具有较高的图像质量评价主客观一致性,其性能优于多个最新图像质量评价方法。

屏幕内容图像质量客观评价方法综述

在交互式多媒体中,屏幕内容图像客观质量评价有广泛的应用价值。本文首先阐述了屏幕内容图像和自然图像的区别;然后分析了基于手工提取特征和基于深度学习自动提取特征两种屏幕内容图像评价算法;接着总结了常用的评价指标和屏幕内容图像数据集,并对屏幕内容图像质量评价算法的性能进行比较;最后对屏幕内容图像质量评价算法的研究进行展望。本文有助于研究人员深入理解该领域的研究现状,为推动其技术的发展和应用提供指导和支持。

图像处理技术的过去、现在与未来

在过去十年中，图像处理领域（对视频和图形的处理），特别是在图像处理IC方面的变化异常迅速。 视频内容从标清过渡到高清，屏幕尺寸和分辨力越来越高，压缩技术应用越来越广泛，所有这一切，都给商用硅芯片供应商带来更多新的挑战和机遇。

浅谈影响电视屏幕形象的几点因素

好的电视节目应是内容丰富,图像清晰,让人赏心悦目。电视的每个画面的出现都是彼此联系,互为因果的。而电视画面的时断时续,隐现交替,循环往复,构成了整个电视屏幕的形象。屏幕的整体形象的好坏决定了电视在观众心目中声誉的高下。忽视电视屏幕的整体形象,久而久之,就会失去电视观众。归纳起来,影响电视屏幕形象的因素有以下几个方面:一是电视画面主体的影响。构成电视画面的主体主要有四:电视节目主持人、各级党和政府的官员、新闻事件中的新闻人物、演员。在这里,放弃演员不谈,

屏幕内容索引图的马尔可夫预测算法

目的调色板编码是屏幕内容编码的典型方法之一,其索引图的编码效率直接影响到调色板编码算法的总体压缩性能。但是,在处理物体前景和文字边缘的过渡区或连接区索引时,现有索引图预测编码方法的效率仍有待改善。为此提出一种基于马尔可夫模型的索引图预测算法。方法随机选取了2 000个局部预测失败的索引值并将它们划分为3类典型分布,发现前2类分布的索引值往往处于边缘的灰度平滑过渡区,相邻索引值间呈现较为明显的线性变化,进而提出采用1阶2维马尔可夫随机过程来刻画这种线性性。对于一个待预测索引值,首先利用1阶2维马尔可夫模型计算相邻索引值的线性相关得到初始预测值,再利用颜色转移概率最大化确定其最优预测值。结果本文算法的预测准确率为97.53%,比多级预测算法(MSP)和基于局部方向相关性的预测算法分别平均提高了4.33%和2.10%,尤其适用于包含大量文字字符和几何图元的视频序列的索引图预测。并且,渐近时间复杂度与基于局部方向相关性的预测算法相当,明显低于MSP。具体地,本文算法的实际运行时间比MSP算法节省了95.08%,比基于局部方向相关性的预测算法增加了35.46%。结论本文提出的基于马尔可夫模型的索引图预测算法通过发掘索引值在边缘区域的线性相关性和特定的颜色转移模式,提高了索引预测效率,并保持了较低的计算复杂度,可应用在屏幕内容文本/图形块的调色板编码中。

调色板编码中双向预测的索引值优化分配

调色板编码中关于索引值分配对索引图编码效率的影响研究较少.因此文中提出索引值优化分配算法,利用索引图生成过程及其预测过程的双向反馈,通过正向、反向预测反馈和联合概率最大化优化索引值分配,更容易准确预测生成的索引图,提高调色板编码的效率.实验表明,相比多级预测算法,文中算法可以提高局部方向相关性预测算法的预测准确率.

电视节目的色彩设计与运用

人们制作的各类电视节目，无论采用哪种传播方式，最终都是通过彩色图像在电视屏幕上显现出来。因此，对色彩运用得当与否，直接影响节目内容的表达。为了使色彩与电视节目的主题、情节及气氛紧密结合，生动、鲜明地表达主体思想，给观众以深刻的印象和强烈的感染力，在色彩的应用上，不仅要有的放矢，精心设计，往往还要通过对色彩的控制与调节，改变景物影像的色彩与组合关系，并用电视技术手段准确地记录下来，再进行适当的色调组接，使色彩在流动、变化中发挥对电视节目的表现力。

常用的RGB

我们用放大镜就近观察电脑显示器或电视机的屏幕,会看到数量极多的分为红色绿色蓝色三种颜色的小点。屏幕上的所有颜色,也就是我们看到的所有图像内容,都是由它们调和而成的。

Windows屏幕图像的捕获技巧

运用计算机写作文章正在成为时尚。如果文章内容只由一些汉字组成,再加上一些简单的格式编排和修饰,这样的文字编辑大家很熟悉,用 WPS6.0等排版软件即可实现。如果需要在文章中插入一些图形、图像,通过软件提供的绘图工具或调用已存在的图像文件也可以实现。WPS6.0下的 SPT、Window 中的画笔、Word 中的图形工具等都提供了相应的功能。

HEVC-SCC自适应调色板模式快速决策算法

随着图像内容不断丰富,由计算机产生的屏幕内容(SC)图像开始普及。针对这类图像,高效视频编码标准(HEVC)增加了调色板模式来提升对SC图像的压缩性能,但会增加计算复杂度和编码时间。提出了一种基于视频内容复杂度分析的自适应调色板模式快速决策算法。该算法将图像亮度分量分块,并用离散余弦变换(DCT)来衡量每个块的复杂度,然后根据复杂度值形成判别矩阵,最后根据判别矩阵结合编码单元的信息来自适应地关闭或启用调色板模式,以减少计算量和编码时间。根据实验结果,当参考编码器设为启用调色板模式时,本文算法能节省的总编码时间达到完全关闭调色板模式所节省时间的69.24%,而相同峰值信噪比下的码率差异(BDBR)平均增加0.33%,相同码率下的峰值信噪比差异(BDPSNR)平均下降0.03dB,基本不影响视频质量。