基于注意力机制的三维模型多视图分类算法研究

对于三维模型的分类,根据其不同的模型类型有不同的分类方法:利用三维模型多视角的二维视图进行分类,利用点云格式的三维模型分类以及利用体素模型进行分类。由于三维模型结构的复杂性和不规律性,且因为二维图像的标记数据量远远大于三维模型,所以一般使用三维模型的多视图图像来对三维模型进行分类研究。其中选择了多视图卷积神经网络(Multi-View Convolutional Neural Networks,MVCNN),因其网络结构不复杂,耗时适中且具有不错的分类结果。并通过向MVCNN中引入注意力机制,使得图像的主要特征位置以及特点显著,能够更好地对三维模型的图像进行特征提取以及分类。实验结果表明,引入注意力机制的多视图三维模型分类方法较原方法,能够将三维模型多视图的分类准确率提高约3%。

基于自适应注意力机制的图像语义理解算法研究

提出了一种基于自适应注意力机制的图像语义理解算法。图像语义理解是对图像内容在文字上进行有意义的解释和描述,但是使用逻辑通顺并且语义正确的语句来描述图像极具挑战性。传统的图像语义理解模型更加关注于图像内容和语义的正确对应,而忽略了图像中的空间信息在语义中的体现。为了学习到图像中物体之间的空间信息,在算法中加入自适应注意力机制。实验证明,改进的图像语义理解算法能够更好地表达出图像中有什么物体、物体之间的相互关系等内容。

基于多尺度改进的双目立体匹配算法研究

近年来,双目立体匹配技术迅速发展,在日常生活和工业产品中得到广泛应用。传统的立体匹配方法精度不高,3D卷积需要复杂的计算量,对于无纹理区域的匹配也很困难。针对这些问题,围绕双目立体匹配算法进行研究,提出了一种基于多尺度改进的双目立体匹配算法。主要工作是在计算代价量时加入了对不同通道进行一组一组的联合,并且对于3D卷积修改为一种改进的模块,提升其匹配的速度,同时算法的精度也有所提升。经过验证,该方法较传统方法有了进一步的提升,在EPE错误率上提升3%。

基于联合SIFT和SURF特征的三维表面重建

一般提取二维图像特征点的方法用到SIFT特征提取,因为SIFT特征有几个特性:对噪声和光线容忍度高、区分性、多量性、可扩展性等,但对于边缘光滑目标的特征点提取能力较弱。SURF特征也是提取图像的尺度不变特征,SURF方法使用Hessian矩阵的行列式值作特征点检测,在对于光滑边缘的目标特征点检测效果要优于SIFT特征。采用同时提取图像中SIFT和SURF特征的方法用于关键点的确定,能够在SIFT特征稳定性好、尺度不变性基础上,提高边缘光滑目标的特征点检测能力。实验结果表明,使用SIFT特征和SURF特征联合的方法能够重建出更多的顶点数和面片数,包括利用SIFT特征提取后存在空缺的部分。重建出的三维表面有更完整更准确的顶点和三角形面片,能提高重建表面的完整度与真实性。

基于行人全局特征的多目标跟踪算法

针对多目标跟踪任务,提出一种基于行人全局特征的多目标跟踪算法,通过将行人目标分块并利用位置编码来获得较好的行人全局特征,用来完成多目标跟踪。使用检测算法生成行人位置后,将行人目标分块从而获得针对目标的局部信息,再使用预定义的位置编码使网络获得对于跟踪行人的全局特征,自注意力机制能让网络关注行人分块区域内的特征。经过验证,算法能减少行人身份切换的问题,在行人重识别数据集Market1501上将rank 1准确率提高约3%,在MOT17的验证集上,所提方法的IDF1提高了0.8%,与基准算法相比,能更好地完成跟踪任务。