采用边缘信息的屏幕图像质量评价

考虑到人类视觉系统(HVS)对边缘信息比较敏感且屏幕图像中包含大量边缘信息,本文提出采用边缘信息的屏幕图像质量评价方法。该方法首先从空域和频域分别提取参考和失真屏幕图像的边缘信息进而得到边缘信息相似度图,接着基于边缘信息提取屏幕图像中人眼感兴趣区域,最后利用感兴趣区域加权对所得边缘相似度图进行融合计算以获取最终评价分数值。实验结果表明所提算法具有较高的图像质量评价主客观一致性,其性能优于多个最新图像质量评价方法。

基于域滤波的自适应Retinex图像增强

为了提高低照度图像的亮度和对比度,提出了一种新的基于Retinex理论的彩色图像增强方法。首先,基于Retinex理论,提出对HSV空间V分量进行域滤波估计图像光照分量,然后将V分量与光照分量相除得到反射分量的方法。之后,采用自适应Gamma校正对光照分量进行亮度提升,然后采用CLAHE对其进行对比度增强。最后,将亮度校正光照分量与反射分量相乘得到增强后的V分量,并将增强后的图像转化为RGB空间图像,达到彩色图像增强的目的。本算法可以获得更自然的增强效果,能抑制亮度较大像素点的增强,很好地突出图像中的细节信息,克服了图像增强中增强图像对比度低、颜色失真、过增强及光照突变处出现光晕现象等缺点。本算法对多种图像有效,例如高动态(HDR)图像、非均匀光照图像及低曝光图像。通过验证,本算法得到的结果相比于传统方法视觉效果更佳。

多元速率兼容LDPC码的自适应编码调制系统研究

本文设计了一种基于有限域GF(q)上的多元速率兼容LDPC(RC-LDPC)码结合高阶调制的自适应编码调制(Adaptive Coded Modulation,ACM)系统。并提出了多元RC-LDPC码在独立和相关衰落信道下的增量冗余型自适应编码调制方案。本方案中多元LDPC码码率从1/3到5/6灵活变化,以较低的系统复杂度,有效提高了系统的频带利用率。仿真结果表明:随着系统吞吐率提高,多元ACM系统相对于二元ACM系统具有越来越明显的编码增益,最高可达约9 d B。

采用灰度共生矩阵进行深度预判的3D-HEVC深度图帧内快速编码算法

针对3D视频的3D-HEVC编码标准以多视点纹理视频和深度视频格式进行编码,其深度图编码仍延续纹理视频编码的模式和编码尺寸遍历选择,使得3D-HEVC的编码复杂度居高不下。为进一步减少3D-HEVC编码复杂度,本文针对深度图帧内预测编码,采用灰度共生矩阵对深度图中的CTU进行计算,统计并分析其矩阵中非零值个数与CTU分割深度的关系,根据非零值个数分布规律,设定阈值,使得帧内编码时可以预判编码模块的分割深度,从而选择性跳过部分不同深度CU的帧内预测过程。经过HTM-16.0测试平台的检验,本算法在全帧内编码模式下,测试序列合成视点比特率仅增加0.08%的同时,平均节省了16.8%的编码时间,与其他同类较新算法在HTM-16.0平台上的性能比较也有一定的优势。

采用率失真与模式特征的多视点视频编码快速模式选择

现有的多视点视频编码使用了分层B帧(Hierarchical B Picture,HBP)的预测结构,其帧内预测、帧间预测以及视点间预测的模式选择给多视点视频编码带来了庞大的计算复杂度。针对这一问题,我们在分析了JMVC模式分布比例的基础上,提出了一个快速帧间模式选择的算法。这种算法利用率失真代价和预测模式特征之间的关系来及时判定最优模式:如果上一尺寸预测模式的率失真代价小于当前尺寸预测模式的率失真代价则认为上一预测模式为最优模式,跳过检查其他更小尺寸的预测模式;反之,如果上一尺寸的预测模式的率失真代价大于当前尺寸的预测模式的率失真代价,则继续检查其他更小的尺寸。这样,通过提前终止一些不必要的模式选择过程,多视点视频编码的计算量得到大幅的降低。实验结果表明:所提算法能在保持JMVC中全搜索算法的编码效率同时,使计算复杂度减少了81.66%。

针对对比度变化的图像质量评价方法

由于对比度变化容易引入图像亮度和色彩等失真,本文提出了一种面向对比度变化的图像质量评价方法CCIQA。所提方法先将图像进行亮度和色度分离,再分别根据亮度强度变化和明暗对比度变化提取亮度失真因子和根据色度相似性提取色度失真因子,接着依照基于亮度强度的权重图进行融合并计算得到最终图像质量评价分数。所提CCIQA方法在4个常用的数据库,TID2008,TID2013,CID2013和CCID2014进行广泛测试。实验结果表明所提CCIQA算法符合人眼视觉对对比度变化的主观感知,且算法性能优于多个最新图像质量评价方法。

消除帧内误差传播的HEVC可逆水印算法

针对帧内实施可逆水印造成误差传播的问题,基于高效视频编码(High Efficiency Video Coding,HEVC)标准,提出一种用于消除帧内误差传播的可逆水印算法。算法充分考虑了HEVC新的编码特性,对帧内嵌入水印后的误差传播情况进行了分析,随后给出了在帧内4×4预测单元中嵌入水印后不会引起误差传播的条件;最后选出满足条件的4×4系数块,采用"和不变"方法将水印自适应地嵌入其量化离散正弦变换系数中。出于减小码率增长的考虑,全0系数块不嵌入水印。实验结果表明,该算法能够有效地消除帧内由嵌入水印引起的误差传播,从而减小视觉失真。同时,算法对码率的影响也较小。

基于多尺度特征残差学习卷积神经网络的视频超分辨率方法

本文提出了一种基于多尺度特征残差学习卷积神经网络的视频超分辨率方法,考虑到视频帧之间的时空相关性,所提的方法采用由双三次插值预处理后的连续五帧视频作为卷积神经网络的输入,经由网络重建中间帧作为输出,依次按顺序重建,直至获得整个高分辨率视频。本文所提出的卷积神经网络主要由多尺度特征提取、残差学习、亚像素卷积层、残差连接(skip-connection)四大部分组成,通过对视频的多尺度特征提取,获得更丰富的不同尺度特征,结合残差学习以更好地恢复高频信息。实验结果表明,本方法在峰值信噪比(PSNR)和结构相似性指数(SSIM)平均评价指标上较其他方法均有一定的提升(PSNR+3.151 dB,SSIM+0.102),从主观评价上看可以有效地减少视频边缘模糊的现象。

基于多细节卷积神经网络的单幅图像去雨方法

本文提出一种基于多细节卷积神经网络的单幅图像去雨方法。考虑到雨条信息大都存在于有雨图像的高频部分,所提方法将有雨图像通过引导滤波进行多次分解得到平滑图像和不同频率分布的多细节图像,提出多细节卷积神经网络学习有雨图像和无雨图像之间的映射关系,从而获得无雨图像。考虑到实际收集相同场景下的有雨图像和无雨图像难度较大,本文采用无雨图像和人工合成的有雨图像作为训练数据,而测试部分则采用合成的雨图和真实的雨图。实验结果表明,本文所提方法能够有效去除图像中的雨条信息。

基于特征融合的无参考屏幕图像质量评价

考虑到人类视觉系统对图像边缘和局部纹理信息较为敏感,本文提出一种基于特征融合的无参考屏幕图像质量评价方法。所提方法通过梯度方向直方图和局部二值模式分别提取屏幕图像的边缘和局部纹理信息,接着通过特征融合过程得到一个更加能够描述屏幕失真的融合特征,最后采用支持向量回归训练得到屏幕图像融合特征向量与主观质量分数的质量评价映射模型。实验结果显示,与现有的图像质量评价方法相比,本文所提算法能够更好地反映出人类视觉系统对屏幕图像的主观感知度。

基于多视点伪序列的光场图像压缩

近年来,作为一种能够提供更富有沉浸感的多媒体媒质,光场图像(Light Field Image,LFI)引起广泛的关注。针对光场图像数据量巨大的问题,本文提出了一种基于多视点伪序列的光场图像高效压缩方案。在编码端,所提方法首先将光场相机捕获得到的原始光场图像根据相机的微透镜阵列分解成子孔径图像。接着根据子孔径图像存在较强视点内和视点间相关性,选取部分子孔径图像进行多视点伪序列构建,基于MV-HEVC设计适用于多视点伪序列的预测编码结构进行编码。在解码端,所提方法基于已解码多视点伪序列通过视频帧插值方法重建出未编码传输的子孔径视图,从而重建出全部光场图像。实验结果表明本文所提算法优于现有基于视差引导稀疏编码的光场图像压缩方法,BD-rate平均节约18.5%,BD-PSNR平均提高1.28 dB。

利用边缘相似度的光场图像质量评价

近年来,随着虚拟现实(Virtual Reality,VR)和增强现实(Augment Reality,AR)技术发展和普及,光场图像引起了学术界和工业界的广泛关注。然而,在光场采集和图像压缩、存储、传输和渲染的过程中,不可避免会引入各类失真从而导致光场图像质量出现劣化。因此,如何根据人眼视觉特性来准确高效地评价光场图像质量成为急需解决的问题。考虑到光场图像复杂的结构特性,本文意在利用边缘相似度来构建适用于光场图像质量客观评估的数学模型。首先,利用梯度和Gabor滤波器分别提取光场图像的空域和频域相似度,进而进行融合得到边缘相似度图,接着对边缘相似度图采用基于频域边缘强度的池化策略进行权重计算得到最终的客观评估分数。实验结果显示,与现有的图像质量评价方法相比,本文所提算法能够更好地反映出人类视觉系统对光场图像的主观感知特性。

结合时空梯度感知特征的HEVC-SCC码率控制算法

针对屏幕内容视频具有大量文字、图形区域以及锐利边缘的特点,本文在HEVC-SCC编码标准上提出一种结合时空梯度感知特征的HEVC-SCC码率控制算法。考虑把有效的码率用在对于人眼视觉系统更加敏感的特性上,本算法主要从空域和时域两方面进行屏幕内容视频感知特性的提取。在空域方面,采用差分算子提取梯度幅值信息,得到空域特征的描述子;在时域方面,采用可以较好描述屏幕内容视频感知特征的梯度相似性度量信息,结合相邻帧间的相关性,得到时域特征的描述子。将时空梯度感知特性进行融合,用以控制屏幕内容视频编码的码率。实验结果表明,在随机接入模式下,本算法和原始HEVC-SCC算法相比,在略微降低误码率、节省码率开销的同时提高了视频的感知质量。

采用改进图形变换的3D点云压缩

本文提出一种采用改进图形变换的3D点云压缩算法。所提算法首先通过改进图形变换将每个块中的所有子图连接为一个图,从源头减少直流系数个数。同时用每个块所有点的均值作为直流系数以降低直流量幅值,并对去平均的颜色值进行图形变换。考虑到量化后的交流系数的零系数占比比较大,本文采用了Run-Level的编码方法对非零的交流系数进行编码。对于直流系数,本文设计了一种预测编码方法对其进行有效编码。最后,编码完的交流系数和预测残差均采用霍夫曼编码器进行熵编码。实验结果表明所提算法相比多个现有3D点云压缩算法具有更高的压缩效率。

结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法

本文提出了一种结合内容特性与纹理类型的HEVC-SCC帧内预测快速算法。利用自然内容和屏幕内容视频DCT变换后系数能量分布不同的特点,结合当前预测单元(Prediction Unit,PU)梯度信息,将编码树单元(Coding Tree Unit,CTU)分成自然内容CTU,简单屏幕内容CTU和复杂屏幕内容CTU。对于自然内容CTU,选择35种传统帧内模式作为候选模式,跳过帧内块复制(Intra Block Copy,IBC)和调色板(Palette mode,PLT)模式;对于简单屏幕内容CTU,选择DC,PLANAR,水平和垂直模式作为候选模式,跳过IBC和PLT模式;对于复杂屏幕内容CTU,选择IBC和PLT模式,跳过其他候选模式。实验结果表明,在全I帧条件下,该算法相较于SCM- 8.3可以节省38.55%的编码时间,大幅度降低了编码复杂度的同时只增加了1.82%的码率。

参数重用的HEVC多描述视频编码

为了提高视频编码的容错性能,保证视频经不可靠信道传输后的重建质量。本文提出了一种面向高效视频编码标准(High Efficiency Video Coding,HEVC)的基于参数重用的多描述视频编码方法。原始视频进行空间梅花下采样,生成四个行列交错的子序列,其中两个子序列采用标准编码器进行编码,并在编码过程中提取视频中每个编码单元(Coding Unit,CU)的深度信息、预测单元(Predicting Unit,PU)的分割方式以及帧内预测模式。而其余两个子序列利用已编码的视频序列信息,进行简化的编码过程。选取一个经标准编码的子序列,与一个简化编码的子序列,结合生成描述1,其余子序列生成描述2,不同描述分信道传输。多描述的编码结构可以保证即使只接收到单一描述也能保证视频的重建质量,参数重用的方法利用子序列间的相关性,减少了冗余信息,降低了编码开销。实验结果表明,参数重用的HEVC多描述视频编码针对高清视频编码效果明显,边缘解码质量PSNR值仅略低于中心解码0.7 dB,有效地提高了高清视频编码的容错性能。进行简化编码子序列的平均编码时间节省了91.7%,实现了高编码效率、低复杂度的HEVC容错编码。

纹理-深度图共同优化的3D-HEVC帧内快速算法

随着立体及3D视频需求的日益增多,针对3D视频编码方法的研究受到越来越多的关注。3D-HEVC编码标准对采用纹理和深度图格式融合的3D视频进行编码,由于加入了深度图编码,因此新增了深度图编码模式、组件间预测和分段直流编码等技术,使其编码复杂度急剧升高。为了减少3D-HEVC的编码时间,本文提出了针对纹理图和深度图的编码单元(Coding Unit,CU)尺寸提前决策快速算法。利用梯度矩阵和作为当前CU和子CU复杂度的判断依据,将CU分为三类:不划分CU(Non-Split Coding Unit,NSCU)、直接划分CU(Split Coding Unit,SCU)以及普通CU。对NSCU,跳过小尺寸的帧内预测过程;对SCU,直接跳过当前CU的帧内预测过程;对普通CU,执行原平台操作。实验结果表明,与原始平台相比,本文算法在合成视点质量基本不变的情况下,平均减少40.92%的编码时间;与最新的联合纹理-深度图优化的3D-HEVC快速算法相比,可以在质量相当的情况下减少更多的编码时间。

基于多特征卷积神经网络的手写公式符号识别

提出了基于多特征稠密卷积神经网络的模型框架(DenseNet-SE)。与传统方法相比,DenseNet-SE采用数据驱动的方法,无需手工提取特征。该框架包含了稠密残差块的结构,能够获取深度特征。通过跳跃连接的方式,从浅层获取细粒度特征来辅助深度特征。同时,融合特征有助于网络结构获取更多全局信息,更好地表示公式符号的类别。利用在线手写数学表达式识别的竞赛组织(CROHME)提供的标准数学公式符号库来验证所提算法,结果表明,CROHME2014和CROHME2016的识别率分别达到93.38%和92.93%,高于目前已有算法的识别率。