虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症(Visually Induced Motion Sickness,VIMS)是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。

联合傅里叶卷积与通道注意力的光场角度重建

光场相机能够同时捕获光线的强度和方向信息,但由于成像传感器尺寸的限制,无法同时获得高空间和角度分辨率的光场图像。提出了一种联合傅里叶卷积和通道注意力的光场角度重建方法,通过使用稀疏光场图像4个边角位置的参考视图,可以间接地重建出密集光场图像。考虑到光场数据的内在4D结构,采用通道级密集快速傅里叶残差卷积块,在空域和频域对光场图像的空间和角度相关性进行建模,然后采用基于全局响应归一化的通道注意块,以实现通道间的自适应融合。此外,还提出了一种改进的视点加权间接合成方法,通过为每个参考视图分配一个置信图,为参考视图之间建立联系以合成更真实的新视图。实验结果表明,相比于现有先进的光场角度重建算法IRVAE,所提方法的重建光场图像质量在自然光场数据集30Scenes,Occlusion和Reflective上的平均PSNR分别提高了0.08,0.13和0.13 dB。所提方法在保证光场角度一致性的前提下取得了清晰的重建结果。

联合全息平面与物平面的全息图质量评价

数字全息图可为用户提供更详细的3D信息;但其编码失真及特殊的性质为其质量评价带来了挑战。提出了一种联合全息平面与物平面的全参考全息图质量评价方法。首先,在全息平面上利用信息保真度准则度量了压缩全息图的退化程度。其次,在物平面上对重建的多视口参考全息图和压缩全息图提取显著性加权的梯度相似度,再利用Grünwald-Letnikov分数阶导数度量全局特征变化;结合二者计算重建的多视口参考全息图和压缩全息图的相似度。最后,将全息平面的计算结果和物平面的相似度作为联合特征,利用随机森林对以上特征进行训练,建立质量评价模型。实验结果表明,所提出方法的PLCC约为0.9179,SROCC约为0.9075,优于相关代表性全息图质量评价方法,与人眼主观感受契合度更高。

结合人眼视觉感知特性的光场图像编码方法

光场图像可同时记录场景中光线强度与方向信息,但要求更多的存储、传输资源,因而需要高效的编码方案。提出了一种结合人眼视觉感知特性的光场图像编码方法,实现了端到端的感知光场编码。考虑到在光场编码相同的失真等级情况下,显著性区域的失真更易被察觉,提出光场图像感知编码方法。针对子孔径图像感知冗余,考虑到像素域恰可察觉失真(Just Noticeable Distortion,JND)模型没有关注显著区域特性,构建了结合显著性的JND掩蔽模型;其后,针对每一帧子孔径图像进行考虑人眼感知的自适应码率分配。实验结果表明,在低延时模式下,与高效视频编码(High Efficiency Video Coding,HEVC)方法相比,所提方法在相同的显著性加权峰值信噪比SW-PSNR质量指标下平均节省16.01%的码率,在与人眼主观感受契合度更高的情况下,实现了光场图像编码效率的提升。

基于I-GWO-LSTM的水声换能器参数预测模型

水声换能器是水声传感系统的核心部件,其性能直接影响系统的灵敏度、精度和可靠性。然而,传统的水声换能器参数测试方法存在数据处理量过大和算法精度较低的问题。为此,本文提出了一种基于I-GWO-LSTM(improved-grey wolf optimization algorithm-long short-term memory)的水声换能器参数预测模型。该模型利用改进灰狼优化算法优化长短期记忆网络模型的参数,只需要测量少量数据点就可以实现对水声换能器等效电路元件参数的高精度预测。通过MATLAB进行仿真实验,验证了该模型在水声换能器参数预测方面具有较高的准确性和稳定性。

基于三维与二维联合的彩色点云无参考质量评价方法

点云作为一种三维视觉信息的载体,在其采集、传输和重建时会不可避免地引入失真,降低点云的视觉质量,因此需要有效方法对失真点云进行质量评价.本文提出一种基于三维与二维联合的彩色点云无参考质量评价方法,在三维、二维空间中分别提取点云的几何信息和彩色纹理信息;在点云几何与彩色纹理的联合失真方面,新方法对几何和彩色纹理投影图进行联合张量分解;考虑到人眼多方向、多尺度的感知特征,利用曲波变换在彩色纹理投影图上提取特征;最后通过随机森林池化来预测彩色点云的质量.在3个数据库上的实验结果表明,本文方法优于现有一些点云质量评价方法,其预测结果与主观质量具有良好的相关性.

采用SJND模型的动态点云感知编码方法

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。

三输入独立栅FETs的电路设计方法研究

本文我们用目前已经提出来的具有不同开关功能的三输入器件进行电路设计。在设计电路时,让电路所需的晶体管数目更少,功耗更低。三输入器件具有三个信号输入端,它的信号处理能力比传统单输入器件更强。我们以全加器和近似4-2压缩器电路为例,来说明三输入独立栅FETs的电路设计方法,并比较用三输入器件设计的电路与用传统单输入器件设计的电路的性能。用Verilog-A语言建立好的查找表模型用于三输入器件,选取32nm的BSIM-CMG模型用于传统单输入器件。仿真工具我们选用HSPICE。仿真电路时,给予相同的输入信号。结果表明用三输入器件去设计全加器和近似4-2压缩器电路时,消耗的晶体管数目减少了65%,功耗延时积减少了约80%。因此,这项新颖的电路设计技术为低功耗和高密度集成电路提供了一种新的设计思路。

基于MEMS惯性传感器中数字滤波器的器件设计

针对微机电系统(MEMS)惯性传感器中数字信号处理电路的功耗问题,提出了两种新型场效应晶体管。两种晶体管分别被命名为具有“并联”开关功能的三输入双沟道场效应晶体管(Ti-DCFET)和具有“串联”开关功能的三输入独立栅场效应晶体管(Ti-IGFET)。两种新器件由于具有特殊的开关功能,因此,能够在器件层面将数字滤波器中用到的加法器和乘法器的电路结构简化,从而降低整个MEMS的功耗。对新器件的电流特性进行理论分析并且得到了简化的理论计算公式。公式的计算结果与Silvaco TCAD仿真结果一致。与传统的单输入晶体管相比,提出的器件通过大幅度减少电路中晶体管数量来降低MEMS的功耗。

基于Chan和粒子群的超短基线协同定位算法

针对在超短基线TDOA定位中,Chan算法定位误差随着距离范围的扩大而增加,提出了一种基于Chan和粒子群(PSO)的协同定位算法。本算法首先通过Chan算法估算出目标位置的初始解,然后运用粒子群算法在由初始解限定的搜索空间内获得搜索结果,与初始计算结果进行比较,直到满足约束条件,获得定位结果。本算法发挥了Chan算法计算简单、TDOA测量误差较小时定位精度高和粒子群算法群体搜索的优势,又克服了粒子群算法容易产生局部收敛值及早熟的缺陷。实验证明,基于超短基线水声定位中该协同定位算法能有效提高目标位置的定位精度,并具有较强的可行性。

Dynamic programming based ray-space interpolation for free-viewpoint video system

This paper presents a free viewpoint video （FVV） system based on ray-space interpolation method The new algorithm matches individual pixels in corresponding scanline pairs by using a ruing technique. A sparse intermediate view disparity map is projected from matched dynamic programpixels firstly, and the holes （occluded pixels） are filled in by propagating the disparity of neighboring background pixels. After interpolating dense view images, an arbitrary virtual view image can be easily rendered from the dense ray-space converted from these view images. The proposed method is evaluated on the Middlebury data set and compared with other methods, experimental results show that the better quality of the intermediate view is obtained and the corresponding computational complexity is reduced significantly.

基于高阶奇异值分解和深度学习的光场图像拼接方法

光场图像拼接旨在提高光场图像的视场角。考虑到光场数据包含较多冗余,且传统拼接方法对于低纹理场景的光场图像鲁棒性不足,本文提出一种基于高阶奇异值分解(high-order singular value decomposition,HOSVD)和深度学习的光场图像拼接方法。首先,通过光流估计和HOSVD对光场图像进行降维,得到所有视角下一致空间信息的主基和不同视角下高频信息的其他基带。其次,提出注意力增强的无监督单应性估计网络来提高图像的配准精度。最后,将扭曲后的参考基带和目标基带进行光场重建与图像融合,得到最终的拼接光场。实验结果表明,该方法在拼接光场的主客观质量和角度一致性方面表现出较好的性能。

基于全局与局部感知特征的三维彩色点云质量评价

作为物理对象在三维空间的有效表示方法,三维彩色点云可以提供丰富的沉浸式视觉体验,但在其获取、处理、编码传输等各环节会引入失真,从而导致其视觉质量下降。因此,如何监测彩色点云的视觉质量是一个亟待解决的重要问题。本文将三维彩色点云投影到二维平面,提出了一种基于全局与局部感知特征的彩色点云视觉质量评价方法。首先,将三维彩色点云转化为彩色纹理投影图与几何投影图。然后,根据三维彩色点云的纹理与几何失真在其投影图中的不同表象,分别描述并提取其失真特征;其中,在彩色纹理投影图中提取全局颜色与局部纹理特征,在几何投影图中提取全局与局部几何特征。最后,将所有全局和局部感知特征构成最终的特征向量预测彩色点云的视觉质量。在两个主观评价数据库(SJTU-PCQA、CPCD2.0)进行测试的实验结果表明,所提出方法在性能上优于13个现有代表性视觉质量评价方法,与主观感知质量有更好的一致性。