线卷积网络在二维线检测和三维线框重建中的应用

本文提出了一个线卷积网络,可以从图像中检测线段.通过预测每条线段的中心位置、长度和角度,该网络能够以端到端的方式检测线段.此外,根据线中心检测的特点,本文设计了一维旋转卷积模块,并通过分析,证明其满足等变性质.在实现上,本文采用改进的数据增强和非极大值抑制方法,有效的提高了线检测的性能.通过大量消融实验以及对比实验,本文提出的线卷积网络相比于当前最优算法HAWP,在精度上高出3个百分点,达到了当前最优.最后,将该方法应用于单张图三维线框重建任务,从可视化结果上看,明显优于之前的方法.

基于边卷积与瓶颈注意力的点云三维目标检测

点云数据的高度稀疏特性使当前大部分基于点云的三维目标检测算法对点云的局部特征学习不足,且点云数据包含的部分无效信息会干扰目标检测。针对以上问题,提出了一种基于边卷积与瓶颈注意力的三维目标检测模型。首先,构建多层边卷积(Edge Convolution,EdgeConv),针对点云中的每个点,通过寻找特征空间上与其最接近的K个点,以构建K-近邻图结构,并学习点云的多尺度局部特征;其次,设计适用于三维点云数据的瓶颈注意力模块(Bottleneck Attention Module,BAM),每个BAM包括一个通道注意力模块和一个空间注意力模块,用于增强对目标检测有价值的点云信息,提升网络模型的表征能力。网络以VoteNet为基线,多层边卷积和BAM模块依次加入PointNet++网络和投票模块之间。模型在SUN RGB-D和ScanNetV2公共数据集上进行实验,并与13个当前先进的三维目标检测算法进行对比。实验结果表明,对于SUN RGB-D数据集,所提模型在交并比(Intersection over Union,IoU)为0.5时的平均精确率mAP@0.5达到了最高,并在床、椅子、办公桌等6个对象类别(共10个类别)达到最优准确率(AP@0.25);对于ScanNetV2数据集,模型的mAP@0.25和mAP@0.5均达到最优,并在椅子、沙发、照片等10个对象类别(共18个类别)达到了最优准确率(AP@0.25)。与基线VoteNet相比,所提模型在两个数据集上的mAP@0.25分别提升了6.5%和12.9%,消融实验证明了所加入的边卷积模块和瓶颈注意力模块的有效性。

基于三维循环残差卷积的脊柱CT图像分割

脊柱计算机断层摄影(CT)图像的自动分割能够辅助医生诊疗相关疾病,相较于二维分割后再进行三维重建,三维分割方法更方便且能保留图像的空间信息。针对现有三维脊柱分割方法精度较低的问题,提出一种以三维循环残差卷积为基础的U型网络对脊柱CT图像进行分割。在网络前端引入三维坐标注意力机制使网络关注感兴趣的区域,使用三维循环残差模块代替普通卷积模块,使得网络在有效累积特征的同时缓解梯度消失问题。加入高效密集连接混合卷积模块减少底层细小特征信息的丢失,提出双特征残差注意力机制代替跳跃连接进行高低层级间的语义融合,通过聚合不同层级特征对全局上下文进行建模,提升分割性能。实验结果表明:在CSI2014公开数据集上,该网络Dice相似系数(DSC)达到93.85%,相较于对比的分割网络提升了1.77~7.65个百分点,相较于其他脊椎分割方法提升了1.67~10.85个百分点;在本地腰椎数据集上,相较于对比的分割模型DSC提升了1.51~19.86个百分点,验证了所提方法的有效性和应用于计算机辅助诊疗的可行性。

基于三维并行多视野卷积神经网络的脑电信号情感识别

利用脑电信号识别情感状态已经成为当前的研究热门。现有的情感识别方法通常提取二维信息作样本,却忽略了包含大脑不同区域重要特征的空间信息。针对这个问题,结合脑电通道间布局和原始脑电信号中的频率相关特征,提出了基于三维并行多视野卷积神经网络(Three-dimensional Parallel Multi-field Convolutional Neural Network, TPMCNN)的脑电情感识别新方法。首先将原始脑电信号划分成多频带,并提取每个频带的微分熵(DE)特征。接着将数据按照电极传感器的位置转变成三维特征矩阵。最后采用TPMCNN网络处理所得到的矩阵。实验结果表明,利用不同频带的微分熵特征构造的三维特征矩阵,能够有效地提取多通道脑电信号中与情感识别有关的特征,所提出的并行多视野卷积神经网络能够充分发挥出深度学习的优势。实验在公开数据集DEAP上进行二分类,在唤醒和效价的准确率分别达到了97.31%和96.72%,四分类的准确率达到了97.17%,证实了所提出的方法对脑电信号情感识别的优越性能。

基于可变形三维图卷积的轻量级点云分类研究

现有深度学习方法在处理点云分类任务时,依赖于点的绝对坐标,存在模型复杂度较大的问题。对此,提出一种轻量级的点云分类网络DMGCN-3D。使用自适应空洞K近邻(KNN)算法构造图结构,尽可能捕捉局部更广泛空间的几何结构信息,并减少计算开支;构造可变形三维图卷积,引入可学习的点与点之间的方向向量来获取相对特性,在特征提取过程中保证点云的置换不变性与尺度不变性;构建多头自注意力模块,通过残差结构将分组变换注意力(GSA)与多层感知机(MLP)相结合,MLP有助于保持原始点云信息的完整性,GSA使得网络能够学习特征内部的自相关性,在提高特征表达能力的同时降低参数总量;使用空间变换网络结合MLP来学习点云特征;对所提取的特征进行融合以得到更综合的特征,将其用于点云分类。实验结果表明,DMGCN-3D在ModelNet10、ModelNet40、ScanObjectNN数据集上的总体精度分别达到96.5%、94.7%、81.9%,比DGCNN分别提高2.9、2.1、3.8个百分点,参数总量相比DGCNN、LDGCNN、3DGCN模型分别降低52.9%、23.9%、3.3%,且DMGCN-3D能够保持较高的鲁棒性。

基于三维卷积神经网络和信道状态信息的人体动作识别

针对传统人体动作识别中的硬件成本高和隐私泄露等问题,本文提出了一种基于三维卷积神经网络(3DCNN)和Wi-Fi信道状态信息(Channel State Information,CSI)的人体动作识别方法。首先,从采集到的信号中提取原始CSI数据的幅值和相位;其次,进行异常点去除和滤波去噪,通过应用CSI幅度与相位的结合以及滑动方差进行人体动作切割,得到处理后的CSI数据;然后,在此基础上使用3DCNN神经网络提取CSI数据的时间和空间特征,并通过引入注意力机制进一步提升人体动作识别的准确度;最后,在实验室采集的CSI数据集上进行了人体动作识别的实验验证,其准确率达到96.1%。

基于三维卷积神经网络的遥感影像变化检测

随着卫星传感器技术和深度学习技术的蓬勃发展,基于深度学习的变化检测研究已成为遥感变化检测领域中的主流方法。针对现有深度学习方法特征提取和融合不充分的问题,提出了一种基于三维卷积神经网络的遥感影像变化检测方法。在特征编码阶段,首先利用三维卷积的内部融合特性同时提取和融合双时相影像特征。在特征解码阶段,为有效利用影像特征的全尺度信息,采用全尺度跳跃连接机制将不同尺度的特征信息在时间维度进行结合,最终产生具有高精度的变化结果。实验结果表明,该方法在两个基准数据集上的精度均显著优于其他先进的深度学习变化检测方法。

基于卷积神经网络的三维表面分形维数识别

分形维数作为机械加工表面形貌的重要参数,可用于接触表面的摩擦特性分析。然而,现有的分形维数计算方法大多需要选择多组尺度计算相应的测度,这不仅影响分形维数的计算速度和精度,也增加了计算的复杂度。针对机加工表面的三维分形维数测量问题,提出一种基于卷积神经网络的分形维数的识别方法。采用Weierstrass-Mandelbrot分形函数构建一个包含不同分形维数的三维粗糙表面数据集,利用单因素实验法分析网络参数(网络深度、滤波器大小、滤波器数量)对三维分形维数识别精度的影响,以找到最优的神经网络参数组合。通过与差分盒维数法、三角棱镜表面积法和分形布朗运动法3种方法进行对比,验证卷积神经网络法识别三维分形维数的有效性。实验结果表明:基于卷积神经网络方法计算的分形维数平均绝对百分比误差可控制在1.5%以下;该方法在分形维数全动态范围内都表现出较小的误差,可用于计算三维表面轮廓分形维数。

基于3D Octave卷积和胶囊网络的高光谱图像分类

针对当前胶囊网络分类模型在高光谱图像分类中存在空谱联合信息利用不足和收敛较慢的问题,提出一种结合多尺度Octave三维卷积和胶囊网络的分类模型。首先,使用主成分分析(PCA)来降低高维的光谱特征并保留其关键特征;其次,通过多尺度Octave三维卷积模块使模型能够适应当前数据集目标尺寸跨度较大的特点,在减少空间冗余的同时提高高光谱图像的空谱联合信息的利用;最后,对动态路由算法进行改进,使用向量长度的相似性与方向的相似性来衡量两个向量的一致程度,从而解决网络在训练过程中收敛较慢的问题。为了验证改进后模型的有效性,选择Pavia University公开高光谱数据集,并且通过OA、AA以及Kappa系数将分类结果与当前主流的分类模型进行对比实验。结果表明,在Pavia University数据集上,改进后的模型在OA、AA以及Kappa系数上的精度要高于其他模型,因此,该模型能够更好地应用于高光谱遥感图像分类任务中。

基于深度可分离卷积的三维模型轻量化处理方法

三维模型轻量化处理方法是指对三维模型进行优化处理,以减少其占用的存储空间和计算资源,从而提高处理速度和系统性能的技术手段。在实际应用中,由于三维模型包含大量的顶点、面片和纹理等数据,需要运用三维模型轻量化技术来减少数据量,以更好地适应各种场景和需求。为此,提出基于深度可分离卷积的三维模型轻量化处理方法,以显著减少模型中的参数数量和计算量。该方法对于提升处理效率和优化系统性能具有重要意义。

基于深度卷积神经网络的三维医学图像分割方法

常规的三维医学图像分割处理的把控效果较差,为此该文提出基于深度卷积神经网络的三维医学图像分割方法。设置初始分割节点,采用多模态的方式,构建多模态图像分割序列。设计深度卷积神经网络医学图像分割模型,采用空间金字塔池化辅助处理方法来强化图像分割结果。测试结果表明,用此方法分割后的Dice系数均可以达到0.7以上,处理效果更好。

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能。针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法。首先,利用三维Octave卷积获取高光谱图像的空间特征的同时减少空间特征冗余信息。其次,利用Bi-RNN光谱注意力网络将光谱带数据视为有序序列以获取高光谱图像的光谱信息。然后,通过全连接层将空间和光谱特征图连接起来实现特征融合。最后,经过softmax输出分类结果。实验结果表明,所提方法在Pavia University和Botswana两个数据集上的分类精度分别达到了99.97%和99.79%,与其他主流算法相比,该方法可以充分利用空间和光谱特征信息,具有更佳的分类性能。

集图卷积和三维方向卷积的点云分类分割模型

现有的深度学习方法在提取点云的局部特征时往往忽略了节点间的位置关系和方向信息,导致不能有效地学习点云的局部特征。为解决这一问题,提出一种集图卷积和三维方向卷积的点云分类分割模型GCN3D。GCN3D模型将图卷积神经网络应用在点云分类分割领域。将点云视作图上的节点,对每个节点求其K近邻,建立局部K近邻邻域内两两节点之间的边,并通过图卷积神经网络参数化边特征以捕捉节点间局部位置关系并更新中心节点特征;使用方向编码模块将节点的邻域划分为八个方位的细粒度的邻域小块,并按照三维空间坐标轴的方向依次将局部邻域结构内的节点特征映射到不同细粒度邻域空间内以提取节点间的方向信息,并且叠加两个方向编码模块增大网络的感受野,提高模型对于稀疏点云数据的鲁棒性并获取局部邻域多尺度特征。在ModelNet40数据集和ShapeNet数据集上分别进行点云分类和点云部分分割的实验。结果表明,相比没有考虑局部特征信息的PointNet,GCN3D模型在ModelNet40数据集上的总体分类精度提高了3.8个百分点,平均分类精度提高了4.3个百分点;在ShapeNet数据集上的平均交并比提高了1.5个百分点。相比其他深度学习模型性能有不同程度的提高。

结合位置关系卷积与深度残差网络的三维点云识别与分割

针对现有点云识别与分割算法因忽视点的位置特征和局部几何特征关系而导致难以捕获具有鉴别力的局部几何信息的问题,提出基于位置关系深度残差神经网络的三维点云识别与分割算法。将原始点云嵌入到高维空间并获取其高维特征;将点云的高维特征输入位置关系卷积实现局部邻域内当前点特征与位置几何特征的信息交流,并通过深度残差模块强化提取到的深层语义特征,分层重复以上步骤可逐步得到点云的高级上下文语义特征;通过全连接层与解码器,得到点云的识别与分割结果。实验结果表明,所提算法在ModelNet40点云分类数据集的识别精度达到了93.9%,在ShapeNet Part点云部件语义分割数据集的平均交并比达到了86.0%。所提算法能够提取三维点云的关键特征信息,具有较好的三维点云识别与分割能力。

基于自注意力和三维卷积的心脏多类分割方法

心脏多类分割在医学影像领域具有重要意义,可提供精准心脏结构信息,辅助临床诊断。然而,在高分辨率心脏影像多类语义分割模型的训练中,多次下采样导致深层特征的丢失,从而引发分割出来的心脏影像器官不连续和边缘分割错误等问题。为了应对这一挑战,本文提出基于自注意力和三维卷积的神经网络——3DCSNet。具体地,在网络中引入三维特征融合模块和三维空间感知模块,前者集成了自注意力和三维卷积并行特征提取,能够有效地分配特征图同一维度下的通道内部和通道之间的权重;后者通过融合自注意力机制,捕捉不同维度之间的位置相关性信息,避免因为下采样导致重要信息丢失,进一步保留深层关键特征。3DCSNet在公开的先天性心脏病三维计算机断层图像数据集(Image CHD)上优于多个现有模型。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

基于伪点云特征增强的多模态三维目标检测方法

环境感知是自动驾驶汽车落地的关键技术之一,它对于提高自动驾驶汽车的安全性和可靠性至关重要.三维目标检测是其中的一项核心任务,旨在识别和定位三维空间中的物体,为后续决策提供重要的信息.点云和图像是该任务最常用的输入数据,点云由三维空间中不规则分布的点组成,而图像则是由二维空间上规则分布的像素组成.因此,点云和图像之间难以进行有效的融合.而伪点云作为一种点云表征的图像信息,近几年受到了该领域学者的广泛关注.现阶段基于伪点云的三维目标检测方法还存在伪点云特征提取粗糙和相应感兴趣区域(Region-of-Intersts,RoI)特征表征能力差的问题.本文针对上述问题开展研究,分别提出细粒度注意力卷积和多尺度分组稀疏卷积.细粒度注意力卷积将规则图像处理中常用的深度可分离卷积引入不规则点云的处理流程,并在此基础上嵌入通道和分组注意力机制,进行精细的特征提取,增强伪点云特征;多尺度分组稀疏卷积将格网池化后的Ro I特征分组,进行差异化特征学习,获取不同尺度的Ro I特征,增强伪点云Ro I格网特征的表征能力.基于此,本文在SFD(Sparse Fuse Dense)网络的伪点云特征提取流程中引入细粒度注意力卷积,同时在其伪点云Ro I特征学习流程中引入多尺度分组稀疏卷积,构建SFD++多模态三维目标检测网络.在权威KITTI自动驾驶数据集上的实验结果表明,SFD++每秒可以处理8.33帧数据,其精度在简单、中等和困难的三维汽车检测上达到95.74%、88.80%和86.04%,比次优SFD的精度高出0.15%、0.84%和0.58%.除此之外,一系列消融和补充实验结果验证了所提出卷积的有效性和相关参数设置的合理性.

基于混合Transformer模型的三维视线估计

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

基于三维特征构建和扩张残差网络的机械故障音频识别方法

已有的基于音频的机械故障识别方法,大多是使用二维神经网络和音频信号的某个单一特征(如功率谱)进行故障检测,然而单一的音频特征在提取过程中可能会存在关键信息丢失的现象,且往往只能提取音频特征的单一维度(如空间上)信息,这极大限制了现有设备故障音频算法的有效性.为了探究解决上述问题的方法,本文提出一种包含不同音频特征的三维特征构建方式,利用不同的音频特征弥补特征提取过程中的关键信息;并且构建了三维扩张残差网络模型(DR-3DCNN),采用空洞卷积的方式增大模型对全局的关注,同时获取不同尺度的特征信息;充分利用不同特征之间的相关性,建立特征与原始音频数据的深层次关联;最后,采用公开的故障工业机器调查和检查数据集(MIMII)进行实验.实验结果表明,三维特征和DR-3DCNN相组合的方式,其机械故障识别分类效果有了显著提升,分类准确率好于以往单一音频特征的识别算法.

基于3D注意力卷积与自监督学习的脑疾病分类方法

为了提升现有脑疾病分类方法提取三维空间特征的能力,提出一种融合3D注意力卷积与自监督学习的分类模型。首先,提出一种基于残差结构的3D注意力卷积神经网络来提取空间特征,利用3D注意力机制区分体素数据中不同空间位置的重要性;其次,利用空间特征构建一个基于自监督学习的多任务学习框架,通过基于空间连续性的自监督辅助任务来进一步挖掘体素的空间依赖关系;最后,通过辅助任务与目标分类任务的联合训练优化神经网络参数,进而提升分类模型的性能。在ABIDE-Ⅰ和ABIDE-Ⅱ数据集上的实验结果表明,所提方法具有优异的分类性能,分类结果也具备良好的可解释性。