基于卷积神经网络的图像局部风格迁移

图像风格迁移是计算机图形学和计算机视觉的一个研究热点。针对现有的图像风格迁移方法中难以对内容图局部区域进行风格迁移的难点,提出了一种基于卷积神经网络的图像局部风格迁移框架。首先,根据输入的内容图和风格图,利用图像风格迁移网络生成全局风格迁移图;然后,利用图像语义分割网络,通过自动语义分割生成的掩码确定图像前景区域与背景区域;最后,利用掩码图确定风格迁移区域并融合未迁移区域得到图像局部风格迁移结果,同时提出一种基于曼哈顿距离的图像融合算法以优化局部风格迁移对象与未迁移区域之间边界的衔接和平滑过渡。该框架综合考虑了目标区域和边界带的像素值、位置等细节信息,在3个公开的图像数据集上进行实验,结果表明该方法能够高效、快速并自然地实现输入内容图的局部风格迁移,生成艺术性与真实性和谐并存的视觉效果。

融合关节旋转特征和指尖距离特征的手势识别

作为人机交互的重要方式,手势交互和识别由于其具有的高自由度而成为计算机图形学、虚拟现实与人机交互等领域的研究热点.传统直接提取手势轮廓或手部关节点位置信息的手势识别方法,其提取的特征通常难以准确表示手势之间的区别.针对手势识别中不同手势具有的高自由度以及由于手势图像分辨率低、背景杂乱、手被遮挡、手指形状尺寸不同、个体差异性导致手势特征表示不准确等问题,本文提出了一种新的融合关节旋转特征和指尖距离特征的手势特征表示与手势识别方法.首先从手势深度图中利用手部模板并将手部看成链段结构提取手部20个关节点的3D位置信息;然后利用手部关节点位置信息提取四元数关节旋转特征和指尖距离特征,该表示构成了手势特征的内在表示;最后利用一对一支持向量机对手势进行有效识别分类.本文不仅提出了一种新的手势特征表示与提取方法,该表示融合了关节旋转信息和指尖距离特征;而且从理论上证明了该特征表示能唯一地表征手势关节点的位置信息;同时提出了基于一对一SVM多分类策略进行手势分类与识别.对ASTAR静态手势深度图数据集中8类中国数字手势和21类美国字母手势数据集分别进行了实验验证,其分类识别准确率分别为99.71%和85.24%.实验结果表明,本文提出的基于关节旋转特征和指尖距离特征的融合特征能很好地表示不同手势的几何特征,能准确地表征静态手势并进行手势识别.

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学﹑数字几何处理﹑3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据“类别-实例”分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.

A level set based segmentation approach for point-sampled surfaces

Segmenting a complex 3D surface model into some visually meaningful sub-parts is one of the fundamental problems in digital geometry processing. In this paper, a novel segmentation approach of point-sampled surfaces is proposed, which is based on the level set evolution scheme. To segment the model so as to align the patch boundaries with high curvature zones, the driven speed function for the zero level set inside narrow band is defined by the extended curvature field, which approaches zero speed as the propagating front approaches high curvature zone. The effectiveness of the proposed approach is demonstrated by our ex- perimental results. Furthermore, two applications of model segmentation are illustrated, such as piecewise parameterization and local editing for point-sampled geometry.