基于边缘领域自适应的立体匹配算法

风格迁移方法因其较好的域适应性,广泛应用于存在领域差异的计算机视觉领域。当前基于风格迁移的立体匹配任务存在如下挑战:(1)转换后的左右图像需满足配对的前提;(2)转换后图像的内容和空间信息要与原始图像保持一致。针对以上难点,该文提出一种基于边缘领域自适应的立体匹配方法(EDA-Stereo)。首先,构建了边缘引导的生成对抗网络(Edge-GAN),通过空间特征转换(SFT)层融合边缘信息和合成域图像特征,引导生成器输出保留合成域图像结构特征的伪图像。其次,提出翘曲损失函数以迫使基于转换后的右图像所重建出的左图像向原始左图像进行逼近,防止转换后的左右图像对不匹配。最后,提出基于法线损失的立体匹配网络,通过表征局部深度变化来捕获更多的几何细节,有效提高了匹配精度。通过在合成数据集上训练,在真实数据集上与多种方法进行比较,结果表明本该方法能够有效缓解领域差异,在KITTI 2012和KITTI 2015数据集上的D1误差分别为3.9%和4.8%,比当前先进的域不变立体匹配网络(DSM-Net)方法分别相对降低了37%和26%。

一种基于可见性权重的人脸纹理融合方法

由二维图像到三维人脸模型的重建过程中,不同角度下的人脸在进行纹理补全时,存在纹理像素模糊和亮度差异的问题,提出一种基于可见性权重的方法,对于不同视角下的人脸纹理图进行融合。同时,针对耳部区域结构复杂,传统纹理融合算法不适用的情况,利用高斯模型的肤色概率方法对耳部纹理缺失区域进行补全,并设计纹理融合带平滑像素,最终得到完整、逼真度较高的人脸纹理模型。仿真实验结果表明,所提人脸纹理融合与补全方法实现了多角度下头面部区域纹理的完美融合。与目前通用的方法相比较,在同样的渲染条件下,所提方法生成的人脸纹理模型更完整、纹理显示效果更好。

基于语义概念的图像情感分析

随着越来越多的用户通过社交媒体表达自己的情感,图像情感分析技术受到了研究人员的密切关注。但是由于情感的模糊性和主观性,相比较于其他计算机视觉任务,图像情感分析更具挑战性。该领域既有的工作仅研究了图像到情感之间的直接映射关系。然而,心理学中有关情感感知的理论揭示了人们感知情感的过程是分步式的。因此,提出了一种新的图像情感分析框架,利用情感概念作为中级语义来辅助建立图像和情感之间的关系。将情感和概念的关系用知识图谱来描述并嵌入到语义空间中,再将图像的视觉特征投影至该语义空间与情感进行对齐,从而学习图像和情感之间的关系。另一方面,提出了一种多层次深度度量学习方法,从标记层面以及示例层面同时对模型进行优化。在2个情感图像数据集上进行实验,结果表明提出的方法在情感图像检索以及分类任务上,相对于现有方法表现良好。

文化数据要素市场繁荣可期

近日,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》(以下称:《意见》)。《意见》提出,推进政府数据开放共享,优化经济治理基础数据库,加快推动各地区各部门间数据共享交换;提升社会数据资源价值,培育数字经济新产业、新业态和新模式,支持构建应用领域规范化数据开发利用的场景;加强数据资源整合和安全保护,推动完善适用于大数据环境下的数据分类分级安全保护制度,加强对政务数据、企业商业秘密和个人数据的保护。

单幅人脸图像的全景纹理图生成方法

目的针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果实验与当前最新方法进行了比较,在Celeb A-HQ和LFW(labled faces in the wild)数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比(peak signal to noise ratio,PSNR)和全局结构相似性(structural similarity index,SSIM)分别提高了7.9 d B和0.088,局部PSNR和局部SSIM分别提高了2.8 d B和0.053;相比于OSTe C,全局PSNR和全局SSIM分别提高了5.45 d B和0.043,局部PSNR和局部SSIM分别提高了0.4 d B和0.044;相比于MVF-Net(multi-view 3D face network),局部PSNR和局部SSIM分别提高了0.6和0.119。实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节。结论本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实。