联合空角信息的无参考光场图像质量评价

光场图像通过记录多个视点信息可为用户提供更加全面真实的视觉体验,但采集和可视化过程中引入的失真会严重影响其视觉质量。因此,如何有效地评价光场图像质量是一个巨大挑战。本文结合空间-角度特征和极平面信息提出了一种基于深度学习的无参考光场图像质量评价方法。首先,构建了空间-角度特征提取网络,通过多级连接以达到捕获多尺度语义信息的目的,并采用多尺度融合方式实现双重特征有效提取;其次,提出双向极平面图像特征学习网络,以有效评估光场图像角度一致性;最后,通过跨特征融合并线性回归输出图像质量分数。在三个通用数据集上的对比实验结果表明,所提出方法明显优于经典的2D图像和光场图像质量评价方法,其评价结果与主观评价结果的一致性更高。

虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症(Visually Induced Motion Sickness,VIMS)是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。

联合傅里叶卷积与通道注意力的光场角度重建

光场相机能够同时捕获光线的强度和方向信息,但由于成像传感器尺寸的限制,无法同时获得高空间和角度分辨率的光场图像。提出了一种联合傅里叶卷积和通道注意力的光场角度重建方法,通过使用稀疏光场图像4个边角位置的参考视图,可以间接地重建出密集光场图像。考虑到光场数据的内在4D结构,采用通道级密集快速傅里叶残差卷积块,在空域和频域对光场图像的空间和角度相关性进行建模,然后采用基于全局响应归一化的通道注意块,以实现通道间的自适应融合。此外,还提出了一种改进的视点加权间接合成方法,通过为每个参考视图分配一个置信图,为参考视图之间建立联系以合成更真实的新视图。实验结果表明,相比于现有先进的光场角度重建算法IRVAE,所提方法的重建光场图像质量在自然光场数据集30Scenes,Occlusion和Reflective上的平均PSNR分别提高了0.08,0.13和0.13 dB。所提方法在保证光场角度一致性的前提下取得了清晰的重建结果。

图像质量评价方法研究进展

图像质量评价是图像处理领域的研究热点。该文综合论述了图像质量的主观和客观评价方法,重点阐述了单视点图像质量的客观评价方法。对目前比较常用的峰值信噪比和均方误差全参考评价算法进行了分析并指出其存在的问题。然后,对基于误差敏感度和基于结构相似度的评价算法进行了论述和分析,并对质降和无参考评价方法进行了综述。根据视点的个数,图像质量评价可分为对传统单视点图像和立体图像的评价。该文还对立体图像质量评价算法进行了分析讨论。最后,就图像质量评价算法的进一步发展提出了若干技术与研究方向的展望。

基于感知的视频编码方法综述

基于感知的视频编码方法是目前视频编码的研究热点。该文综合论述了基于感知的视频编码方法,重点阐述了基于感知的3维视频编码方法。首先,对目前利用人类视觉系统中的亮度、对比敏感度、中心凹等视觉感知特性的单视点视频编码方法进行分析并指出其存在的问题。然后,对基于立体感兴趣区域和双目敏感度特性的3维视频感知编码方法进行了分析和论述。最后,就基于感知的视频编码方法的进一步发展提出了若干技术与研究方向的展望。

高效视频编码的快速编码单元深度遍历选择和早期编码单元裁剪

为了降低新一代高效视频编码(High Efficiency Video Coding,HEVC)标准的编码复杂度,提出了一种基于四叉树结构类型分析和早期编码单元(Coding Unit,CU)裁剪的HEVC快速编码新算法。首先,通过分析已编码的最大编码单元(Largest CU,LCU)四叉树结构类型,确定其深度遍历区间(Depth Range,DR)类型。然后,利用相邻已编码的LCU以及前向参考帧和后向参考帧中坐标位置相同的LCU的DR类型来预测当前LCU的DR类型,并根据预测得到的DR类型对当前LCU设定CU深度遍历区间。最后,采用贝叶斯决策原理获取阈值,并利用该阈值在CU分割过程进行早期CU裁剪。实验结果表明:相对于原始HEVC编码结构,本文算法在随机访问模式下编码时间平均减少41.55%,BDBR(Bjontegaard Delta Bit Rate)只增加约1.94%,BDPSNR(Bjontegaard Delta Peak Signal-to-noise Rate)只降低了0.06dB;与Shen方案相比,该算法可以降低12%左右的计算复杂度,BDBR只增加约1.09%,BDPSNR只降低了0.03dB。

H.264/AVC压缩域鲁棒视频水印

针对现有H.264/AVC压缩域开环水印方法存在误差漂移及鲁棒性差的问题,分析了该类水印算法的特点及误差漂移机制,提出了一种无误差漂移的鲁棒视频水印算法。首先,基于视频重建过程,分析了开环回路水印方法的误差漂移机制,得到由水印信息造成的独立重建误差。然后,采用误差间的线性组合得到4个可以避免误差漂移的水印模板。最后,通过调制残差系数与相应水印模板之间的正负相关性,将水印嵌入在非零系数多的4×4子块上,而不像以往算法将水印直接添加在残差系数上。实验结果表明:所提算法造成的平均结构相似度下降在0.005以内;码率的增长在1.00%左右;对重量化转码、加性高斯白噪声、亮度调节等常见水印攻击,误码率均在0.15以下。得到的结果满足视频水印算法对透明性,码率稳定性,鲁棒性的要求。

基于图像处理的BGA封装器件缺陷检测算法

提出了一种BGA焊球缺陷检测算法 ,通过图像处理技术 ,检测BGA器件各焊球的中心位置、焊点直径、各行列坐标等参数 ,以检测是否发生焊球丢失、移位、焊球过大或过小以及桥连等缺陷 ,从而保证BGA器件的质量。

一种基于视觉的车辆跟踪及交通流量参数估计新方法

交通监控系统采集处理有关道路车流状况的实时信息,以指导车辆的运行,保障道路顺畅。基于视觉的交监控系统具有直观明了、系统使用和维护费用相对较低等优点,因而可广泛应用于公路干线和交叉道口的交通监控。本文提出了一种改进的背景差法,改善了车辆检测效果,在此基础上进一步提出了用于灰度图像的综合车输检测方法,以消除阴影的影响,提高车辆检测的准确性,进而实现车辆的跟踪、计数、车型划分和行驶速度估计。实验所用视频图像信号中路边建筑造成的阴影从无到有,直至覆盖整个路面。实验结果显示该方法简单有效,能实时提取交通信息,其车辆检测的准确率达98%以上,优于背景差法和边缘检测法。

基于相关性分析的多模式多视点视频编码

多视点视频编码方法除需具有较高编码效率外,还必须支持视点或时间的随机访问、低延时编解码、视点可分级等性能.多视点视频信号的时间、视点间相关性随相机密度、光照、对象运动等因素不同而变化.文中提出基于多视点视频信号相关性分析的多模式多视点视频编码方法,改变传统单一预测模式的多视点编码结构,将多种性能优良的预测编码模式有机结合,根据多视点视频相关性分析灵活选择合适的预测编码模式,以获得优异的编码综合性能.实验结果表明,所提出的多模式多视点视频编码方法在保证高压缩效率的前提下,可进一步降低复杂度,提高随机访问性能.

彩色形态滤波器分析

形态滤波属于非线性信号变换处理,它利用信号的局部特征对信号进行修正.最近的研究表明形态滤波器能有效地滤除二值图像及灰度图像中的噪声.本文引入了建立在RGB彩色空间上的彩色形态变换,将数字形态学理论从灰度空间扩展到彩色空间.对基本彩色形态滤波器(即彩色形态闭、开)及以它们为基础所构造出一些复杂的彩色形态滤波器进行了研究,并对它们选用不同结构元素的情况进行了分析.实验表明彩色形态滤波器能直接有效地消除彩色图像的噪声、保持图像细节并且不产生新的颜色。

基于块参考像素特征的快速帧内预测模式选择新算法

帧内预测是H.264采用的一种编码新技术。与以前的编码标准相比,H.264编码性能有了很大的提高,但同时编码复杂度和计算量也明显增加。该文研究了提高H.264编码速度的途径,着重分析了帧内预测模式快速选择的问题。经过分析发现,4×4亮度块的参考像素亮度值通常具有相似性,对应地,4×4亮度块的9种预测模式所得的预测结果也是相近的。根据4×4亮度块参考像素的这一特征,该文提出了一种基于4×4亮度块参考像素特征的快速帧内预测模式选择算法。实验结果说明了该文算法的有效性,与H.264编码器JM92相比,该算法的计算量减少了46%,而编码质量、PSNR和输出码率保持基本不变。

一种彩色形态塔式结构方法

本文提出了彩色图像的彩色形态采样 ,得到了彩色图像多分辨率表示的新方法 ,即彩色形态塔式结构。基于RGB(红绿蓝 )彩色坐标系统上的彩色形态变换 ,讨论了彩色形态采样及其两种彩色形态重建 ,即彩色形态膨胀重建和彩色形态闭重建。提出了相应的彩色图像分析与合成方法 。

一种有效的数字图像水印新方法

该文就数字水印技术中基于离散余弦变换(DCT)的方法进行研究,提出了一种有效的图像自适应水印方法。在检测水印时无需使用原图像,从而能够有效应用于图像和视频信号的水印处理。所提出的方法利用了人类视觉的掩蔽特性,给出了两种采用参数自适应的水印方案,使得加水印后的图像具有好的视觉质量及高的信噪比,并且水印检测也有好的稳健性。

关于彩色图象处理的形态学算子研究

彩色形态变换是数学形态学从灰度图象到彩色图象的推广 .基于 RGB(red- green- blue)彩色坐标系统 ,提出了彩色形态变换的理论 ,并讨论了它们的性质 ,进而建立了彩色形态变换与灰度形态学的联系 .彩色形态变换作为一种数学形态学方法在彩色空间的延拓 ,可有效地应用于彩色图象处理。

基于车道标线分解的车道检测

利用图像处理技术,提出了一种基于车道标线检测的自动车辆驾驶控制方法。针对公路上车道标线的图像特征,将图像平面的车道标线分割为下标线(LLM)和上标线(ULM),研究了它们的性质。在此基础上,提出了基于车道标线分解的车道检测新方法。实验结果表明所用方法能有效提取用于车辆驾驶控制的车道状态参数。

语音信号的矢量量化码书特性研究

本文针对语音信号的矢量量化码书进行了研究。利用矢量量化码书的码字和值及码字差值作为码书的特征变量，对不同语音信号的矢量量化码书分布情况做了分析，并给出了若干结果。

采用二值序列变换的形状匹配

本文对形状的模板匹配进行了研究，引入了形状的数学形态学二值序列变换，定义了形状匹配函数，讨论了它的性质。建立了一个形状模板集合，提出了新的形状识别方案。它具有简单、高效、稳健和易于并行化处理的特点．最后，新的形状匹配算法被用于交通标志中的识别，实验结果证实了新算法的稳健性和有效性．

面向编码和绘制的多视点图像颜色校正

针对多视点视频系统中视点间颜色不一致,给后续多视点视频编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点视频颜色校正方法.首先采用连续多帧求帧差法提取出各个视点图像的背景区域,再利用背景区域计算校正因子,对颜色不一致的视点进行颜色校正.实验结果表明,该算法不仅能实现视点间图像的颜色一致性,提高多视点视频的编码效率,而且提高了虚拟视点绘制性能,是一种有效的多视点视频系统颜色校正方法.

基于双目视觉特性的立体视频编码码率控制算法

为了使立体视频中的比特分配更加符合人眼视觉感知特性,提出了一种非对称质量的立体视频编码码率控制算法。首先,建立了左右帧的码率分配比例与量化参数差值之间的立体指数RRQ(Rate-ratio Quantization)模型。然后,将码率控制算法分为SGOP(Stereoscopic Group of Pictures)层、立体图像对层和帧层等3个码率控制层。在SGOP层计算每个SGOP的目标码率和关键帧的量化参数;在立体图像对层根据剩余比特数和缓冲区饱和度计算每个立体图像对的目标比特;在帧层则通过分析双目视觉掩蔽效应,用一种适合于立体视频的率失真优化方法合理分配左右帧的目标码率。实验结果表明,本文算法的码率控制偏差平均值为0.21%;立体视频客观质量比对称质量算法和Wang的算法分别提高了0.23dB和0.06dB,且质量波动较为稳定。因此,该算法基本满足网络带宽传输要求。由于充分利用了人眼双目视觉特性,可满足人们对立体视频的视觉需求。