基于网格形变的立体变焦视觉优化

立体图像的视觉变焦优化是近年来图像处理和计算机视觉领域热门的基础研究问题。3D图像的变焦视觉增强技术越来越受到关注。为此,本文从相机变焦拍摄的模型出发,提出一种基于网格形变的立体变焦视觉优化方法,力求提高3D立体视觉的体验。首先利用数字变焦方法模拟相机模型对目标区域进行适当的视觉放大,然后根据相机变焦距离建立起参考图像与目标图像之间的映射关系,并提取前景目标对象,接着使用改进型深度恰可察觉深度模型来引导目标对象的自适应深度调整。最后结合本文所设计的七个网格优化能量项,对图像网格进行优化,以提高该目标对象的视觉感,并确保整幅立体图像的良好视觉体验效果。与现有的数字变焦方法相比,所提出的方法在图像目标对象的尺寸控制方面和目标对象的深度调整方面都具有更好的效果。

基于网格形变的立体图像内容重组

目的近年来,随着数字摄影技术的飞速发展,图像增强技术越来越受到重视。图像构图作为图像增强中影响美学的重要因素,一直都是研究的热点。为此,从立体图像布局调整出发,提出一种基于Delaunay网格形变的立体图像内容重组方法。方法首先将待重组的一对立体图像记为源图像,将用于重组规则确定的一幅图像记为参考图像;然后对源图像需要调整的目标、特征线和其他区域进行取点操作,建立Delaunay网格。将源图像的左图与参考图像进行模板匹配操作,得到源图像与参考图像在结构布局上的对应关系;最后利用网格形变的特性,移动和缩放目标对象,并对立体图像的深度进行自适应调整。结果针对目标对象的移动、缩放和特征线调整几方面进行优化。当只涉及目标对象的移动或特征线调整时,立体图像视差保持不变;当目标对象缩放时,立体图像中目标对象的视差按照缩放比例变化而背景视差保持不变。实验结果表明,重组后的立体图像构图与参考图像一致且深度能自适应调整。与最新方法比较,本文方法在目标对象分割精度和图像语义保持方面具有优势。结论根据网格形变相关理论,构建图像质量、布局匹配和视差适应3种能量项,实现了立体图像的内容重组。与现有需要提取和粘贴目标对象的重组方法不同,本文方法对目标对象的分割精度要求不高,不需要图像修复和混合技术,重组后的立体图像没有伪影和语义错误出现。用户可以通过参考图像来引导立体图像的布局调整,达到期望的图像增强效果。

基于伪参考图像深层特征相似性的盲图像质量评价

提出一种基于伪参考图像深层特征相似性的盲图像质量评价方法,首先利用基于Wasserstein距离的条件生成对抗网络,由数据驱动训练得到复原模型,通过对失真图像的复原,生成伪参考图像,用以弥补真实参考图像的缺失,接着利用上述复原模型进行质量预测评价,通过对测试失真图像进行重叠分块.采样,使其通过复原模型后生成为参考图像块。并使用预训练卷积神经网络——VGG-19,分别对失真图像块和伪参考图像块提取五层最大池化层深层网络特征,每一图像块其每一特征经标准化后成为单通道灰度特征图,利用SCNN-SIM公式计算二者对应每一层特征图的相似性得分,根据计算所得五级得分,采取相应池化策略,预测得到块评价分数,最后选择平均池化策略得到最终图像得分。本文基于图像常见三种失真:高斯模糊、高斯噪声JPEG压缩进行评价对比,复原模型训练集采用Waterloo自然场景图像库,选择TID2013、CSIQ数据库进行预测评价测试,其Pearson线性相关系数和Spearman等级系数指标与最新方法指标相当,评价结果准确,与人类主观感受一致。

一种立体全景图像显著性检测模型

三维全景给用户提供360°视角的同时给人以强烈的三维立体真实感,虽然近年来研究人员开发了大量的算法来检测二维及三维图像中的显著区域,但针对立体全景图像显著性检测的研究较少。考虑到全景图像的投影特点、立方体投影(CMP)图像有助于消除顶部与底部引起的扭曲及边框效果,利用等矩形投影(ERP)图像中所有可用的上下文信息,以ERP作为全局信息、CMP作为局部信息,融合了全局和局部的视觉显著图。提出的立体全景显著性检测模型由颜色相似度算法和区域对比度算法两部分组成。首先,对图像进行多尺度线性迭代聚类超像素分割,根据像素块的颜色差异得到颜色对比特征图;然后依据空间分布紧凑性计算区域对比度;根据颜色对比特征和区域对比度特征得到图像显著图。通过结合赤道偏移并且融入深度信息得到最终的立体全景显著图。最后,将所得结果在公开的立体全景图像数据库ODI中进行了对比验证,实验结果表明,所提方法得到的显著结果具有较高的准确率、召回率和F-measure值,其综合性能优于6种经典的显著预测算法。所提模型既能够充分利用图像信息,又能有效地抑制复杂的背景区域,可得到更加符合视觉感知的显著图。

时空联合视差优化的立体视频重定向

目的智能适配显示的图像/视频重定向技术近年受到广泛关注。与图像重定向以及2D视频重定向相比,3D视频重定向需要同时考虑视差保持和时域保持。现有的3D视频重定向方法虽然考虑了视差保持却忽略了对视差舒适度的调整,针对因视差过大和视差突变造成视觉不舒适度这一问题,提出了一种基于时空联合视差优化的立体视频重定向方法,将视频视差范围控制在舒适区间。方法在原始视频上建立均匀网格,并提取显著信息和视差,进而得到每个网格的平均显著值;根据相似性变化原理构建形状保持能量项,利用目标轨迹以及原始视频的视差变化构建时域保持能量项,并结合人眼辐辏调节原理构建视差舒适度调整能量项;结合各个网格的显著性,联合求解所有能量项得到优化后的网格顶点坐标,将其用于确定网格形变,从而生成指定宽高比的视频。结果实验结果表明,与基于细缝裁剪的立体视频重定向方法对比,本文方法在形状保持、时域保持及视差舒适度方面均具有更好的性能。另外,使用现有的客观质量评价方法对重定向结果进行评价,本文方法客观质量评价指标性能优于均匀缩放和细缝裁剪的视频重定向方法,时间复杂度较低,每帧的时间复杂度至少比细缝裁剪方法降低了98%。结论提出的时空联合的视差优化方法同时在时域和舒适度上对视差进行优化,并考虑了时域保持,具有良好的视差优化与时域保持效果,展现了较高的稳定性和鲁棒性。本文方法能够用于3D视频的重定向,在保持立体视觉舒适性的同时适配不同尺寸的3D显示屏幕。

基于深层特征学习的可压缩感知及缝雕刻的图像重定向

多媒体技术的飞速发展推动了图像处理与显示设备的应用与发展,为了使图像在不同的设备上进行最佳显示,需要对图像的尺寸进行调整。因此,本文提出一种基于深层特征学习的可压缩感知及接缝雕刻的图像重定向方法。首先从预先训练的VGG-19网络中提取输入图像的深度特征图,从最深层开始计算特征图像的可压缩率,根据计算的可压缩率运用接缝雕刻的方法在特征域(Feature fields Seam Carving,FSC)调整特征图的大小,然后依次向较浅的层传播,得到所有特征层的重定向图像后,将输入图像对应于第一层特征图的去缝的位置处的像素去掉,得到原始图像的重定向图像。若没有达到目标图像的大小,最后再进行均匀缩放(scaling,SCL)。在RetargetMe数据集上分别进行主观与客观评估,结果表明,与其他方法相比,本文的重定向方法总体上实现了更好的性能。