基于场景流的可变速率动态点云压缩

针对现有的动态点云压缩神经网络需要训练多个网络模型的问题,提出基于场景流的可变速率动态点云压缩网络框架.网络以原始动态点云为输入,利用场景流网络进行运动向量估计,在压缩运动向量和残差的同时,引入通道增益模块对隐向量通道进行评估和缩放,实现可变速率控制.通过综合考虑运动向量损失和率失真损失,设计新的联合训练损失函数,用来端到端地训练整个网络框架.为了解决动态点云数据集缺少真实运动信息标签的问题,基于AMASS数据集制作带有运动向量标签的人体数据集,用于网络的训练.实验结果显示,与现有的基于深度学习动态点云压缩方法相比,该方法的压缩比特率下降了几个数量级,与静态压缩网络单独处理每帧的重构效果相比,该方法有5%~10%的提升.

基于CBAM和原型网络的小样本恶意软件分类模型

为解决小样本条件下恶意软件分类准确率低的问题,提出一种基于CBAM(convolutional block attention module)和原型网络的恶意软件分类模型。利用图像转换算法将恶意软件可执行文件转换为灰度图像;将残差连接和CBAM引入模型的特征嵌入模块,从通道和空间两个维度上增强关键特征表达,使得到的特征更具分辨性;提出联合损失函数,在距离交叉熵损失的基础上加入原型损失,通过减小类内距离的方式进一步扩增类间距离,使模型在样本数量有限的情况下取得良好的分类效果。实验结果表明,在每类恶意软件仅有5个样本的情况下,模型的分类准确率仍可达到83.12%。

面向病理图像分割的边缘感知网络

提出了一种针对病理切片图像的端到端语义分割方法--边缘感知网络(BPNet),以提高病理图像分割精度。BPNet网络首先在解码器阶段增加边缘感知模块,改善网络对于病理图像边缘的特征信息提取能力。然后,采用自适应通道注意力模块弥补不同层次特征间的语义差距,进一步加强网络的特征聚合能力。在此基础上,设计了一种基于结构和边缘的联合损失函数,以实现最佳的病理图像分割结果。在GlaS和MoNuSeg两个公开病理数据集上的分割实验结果表明,所提方法的Dice系数得分在两个数据集上分别达到92.21%和81.18%,有效提升了病理图像的分割精度。

融合动态场景感知和注意力机制的声学回声消除算法

在实时语音频通话系统中,如何去除声学回声得到清晰语音是目前最受关注的难题之一。声学回声消除(Acoustic echo cancellation,AEC)技术旨在消除语音频通话系统中的声学回声,提高通话过程中的语音质量,给予用户良好的通话体验,但是传统回声消除系统存在去回声效果不明显、存在非线性回声残留以及无法实时处理回声等问题。因此,为解决上述存在问题,提出了一种动态场景感知模块(Dynamic scene perception module,DSPM)和全局注意力机制(Global attention mechanism,GAM)相结合的声学回声消除算法。该算法以卷积循环网络(Convolutional recurrent network,CRN)作为基线模型,提取语音信号的序列特征;首先,在其编码器中引入DSPM模块替换原因果卷积,根据场景动态分配卷积内核数量,加强模型的自适应性;其次,在编码器最后两层中分别引入GAM模块,放大空间通道间关系以及统筹全局交互,提升对语音信号特征的提取能力以及消除回声的性能;最后,通过将MSE损失函数和HuberLoss损失函数线性相加生成一种新的损失函数——MSE-HuberLoss,进一步提高模型的鲁棒性。实验结果表明,提出的GAM-DSPM-CRN模型的回声消除性能优秀,且获得较基线模型更加清晰的重构语音信号;在双端通话环境下,提出的GAM-DSPM-CRN模型声学回声消除算法较其他对比算法性能有较大提升;在Microsoft AEC Challenges数据集上,MOS、ERLE和STOI的得分分别达到了4.09、57.43和0.78。

基于联合深度统计特征对齐的鱼类目标识别方法

水下鱼类目标识别技术是认识海洋、经略海洋、向海图强的重要技术之一.基于深度学习的水下目标识别技术已成为研究热点,但是针对水下鱼类数据小样本甚至零样本识别性能亟待提高.本文基于迁移学习,提出了联合深度统计特征对齐(Joint Deep Statistical Feature Alignment, JDSFA)方法,解决小样本下的鱼类目标识别问题.以ResNet-50作为骨干网络,将均方和协方差纳入权重选择算法用来构建自适应损失函数,对齐源域和目标域之间的特征分布,联合源域损失与领域间的自适应损失,设计全局损失函数,建立深度学习识别模型,实现鱼类目标识别任务.利用公开的水下鱼类数据集QUT进行实验验证,相比目前代表性的DADAN、PMTrans、DSAN方法,JDSFA方法的鱼类识别性能分别提升了3.59%、4.96%、5.91%,结果表明了本文JDSFA方法的有效性,并对鱼类目标识别具有良好的应用价值.

基于全卷积编码-解码对称网络的单目图像深度估计

单目图像深度估计通过唯一视角下的图像来感知每个像素的空间位置关系,对于场景理解、三维重建等具有重要意义。为了全面提升预测深度图涵盖的信息量,保持关键细节不丢失,论文基于对称的编解码结构设计了一个全卷积网络来执行深度估计任务,称为ResUNet。该网络继承了U-Net模型的经典架构,首先采用了改进的ResNet网络来实现特征编码,其次保留了U-Net模型的解码器设计来将特征图解码为深度图,这种结构设计融合了ResNet和U-Net网络的特点,通过协同优化最大程度发挥了各自的优势,能够在进行深度估计的过程中实现空间结构和细节信息的最大程度保留,进而提升预测深度图的真实性与可靠性。基于该网络进一步提出了ResDepth算法,该算法针对深度图预测过程中容易产生物体失真、细节淹没的问题,从损失函数的角度出发设计了一个联合损失函数,在不带来额外计算开销的情况下全面提升了预测深度图的质量。最后,在NYU-Depth V2、SUN RGB-D及KITTI三个公开数据集上进行对比实验来评估算法性能,实验表明,论文提出的ResDepth算法及联合损失函数能够更好地保留空间结构信息及几何细节信息,进而提升深度估计结果的准确性。

基于重参数化和联合分支的城市地下管道缺陷检测

城市地下管道是城市重要的基础设施之一,及时排查管道缺陷对城市的发展起着较为重要的作用,针对目前的管道缺陷检测模型参数量大、实时性较差等问题,提出一种改进的FCOS城市地下管道缺陷检测方法.首先,引入轻量的MobileOne网络,通过结构重参数化将多分支网络转换为单分支网络,减小模型规模;然后引入分类和IoU的联合分支使模型的训练和推理过程保持一致,并利用平衡因子优化QFL损失函数,提升模型分类预测效果.实验结果表明:改进后的FCOS模型相比于基线模型的平均精度提升1.83%,检测速度FPS达到48.6,模型参数量下降17.85 M,有效提升了城市地下管道缺陷检测性能,并且相比于其他优秀的目标检测算法,也具有一定的优势.

MF-TLID:一种多特征融合输电线覆冰图像去噪方法

针对基于图像对线缆覆冰状态进行监测过程中图像存在噪声的问题,提出了一种多特征融合输电线覆冰图像去噪方法。该方法采用残差注意力融合模块、源特征融合模块和特征增强模块。在残差注意力融合模块中采用级联残差结构和混合注意力模块,既有助于特征信息映射,又能增强特征信息表达;在网络不同特征层中融合源特征,保留图像的低频信息,有利于提升图像的清晰度和真实感;在特征增强模块中同时结合局部和全局特征,通过特征注意力加权学习有效特征向量表示,提高模型去噪能力;创新性地提出像素损失和感知损失的联合损失函数,同时考虑像素级别的误差和感知质量的提升。在输电线覆冰数据集上高斯噪声标准差分别为10~40、20~50和30~60,PSNR和SSIM分别达到了{31.015 dB、29.262 dB、27.717 dB}和{0.956、0.943、0.930}。结果表明,该算法的性能优于主流去噪方法,具有更强的抑噪能力和抗干扰性。

基于图像增强技术的运动目标检测算法

利用多权值联合损失函数进行图像细节恢复来解决图像对比度不高导致的细节模糊问题。针对光流网络在图像特征提取上存在输入参数多的问题,提出空洞残差网络作为图像的特征提取模块,通过增大卷积核的感受野提高特征提取速度。使用COCO数据集进行训练和测试。实验结果表明,与已有同类算法对比,文中算法得到的光流场图像有更高的清晰度,有效提高了检测精确度,降低特征提取时间。

基于注意力机制和多分支联合的行人重识别方法

行人重识别是指在行人图像中进行跨设备检索的任务,是一种在视频监控、智能安防等领域具有重要应用价值的技术。因受环境因素(如光照、角度、遮挡等)的干扰产生噪音,加大了行人信息特征的提取和辨别的难度,为此本文提出了一种基于注意力机制的多分支联合网络结构来提高模型的识别能力。该模型选用Omni-Scale Network作为骨干网络,实现全尺度特征的融合,同时嵌入串行的通道注意力机制和位置注意力机制,强化模型深层语义表达,最后借助多损失联合函数对模型进行监督训练,实现行人特征的全局特征提取和输出能力。仿真实验结果表明:该模型在公开数据集Market1501、DukeMTMC-reID以及CUHK03-Labeled(Detected)上的行人图像信息特征提取综合表现优于DRL-Net、DCAL等同类算法,Rank-1值分别达到了95.3%、90.1%和80.4%(Labeled)/78.1%(Detected),mAP值分别达到了89.2%、80.47%和78.9%(Labeled)/75.4%(Detected),具有较高的识别准确率。

基于联合损失函数的语音质量特征增强分析

为确保代价函数能够根据人耳感知特点开展分析过程,设计了一种联合损失函数的语音增强深度学习算法;针对损失函数计算过程加入关于人耳听觉的数据。研究结果表明:本文设计的混合损失函数实现了增强语音质量的明显优化。以常规损失函数MES进行处理时,增强语音发生了明显失真;以联合损失函数进行处理时,可以明显降低增强语音失真程度,获得更优的语音质量。

结合稠密小波变换的双分支低照度图像增强

针对低照度图像存在低亮度、高噪声、色彩失真等问题,提出了一种结合稠密小波变换的双分支低照度图像增强方法。采用稠密小波网络进行多尺度特征信息融合,在减少信息丢失的同时使网络具有一定的去噪能力。在多尺度特征融合中嵌入全局注意力模块和特征提取模块,充分提取全局和局部特征。通过双分支结构对图像进行色彩增强和细节重建,使得低照度图像具有较好的增强效果。引入了新的联合损失函数从多方面指导网络训练,以增强网络性能。将所提方法与主流方法相比较,实验结果充分表明,所提方法有效提高了低照度图像的亮度,抑制了图像噪声,并取得了更丰富的细节和色彩信息,得到的增强图像更清晰自然,在峰值信噪比和结构相似度等图像质量客观评价指标方面也具有显著的优势。

跨级特征自适应融合的暗光图像增强算法

针对低照度环境下采集的图像存在亮度低、对比度低和视觉效果不佳等问题,提出一种跨级特征自适应融合的低照度图像增强算法。该算法首先结合分级采样和广域卷积搭建网络前端,生成大面积感受野的多尺度特征,使浅层信息被充分挖掘。其次引入多头转置注意力模块嵌于网络中部,计算通道间的互协方差以生成注意力映射,隐式地建立全局上下文信息关联。然后构建联合损失函数修正模型收敛方向,辅助模型从对比度和结构等方面进行优化,提高算法的鲁棒性。最后在LOL和LOLv2数据集上进行实验验证,实验结果表明,所提算法在峰值信噪比(PSNR)和结构相似性(SSIM)等客观指标上整体优于大部分先进算法,主观上图像亮度自然,噪声和伪影得到有效抑制。

基于多粒度特征增强网络的交通文本检测方法

深度学习极大地推动了自然场景文本检测和识别领域的发展,然而,对行车环境中的交通文本检测研究相对匮乏。为此,提出一种新颖的端到端文本检测框架,实现对车载摄像头捕获到的交通文本检测。设计多粒度文本特征增强模块(MTFEM),通过无缝集成交通文本的粗粒度特征和细粒度特征,进行全面理解和分析,以提高对交通文本的特征表达能力。此外,为了优化网络学习,保持模型训练的稳定性,避免像素预测误差所导致梯度急剧变化,设计一种新颖的联合损失函数。实验结果表明,该方法在交通文本数据集CTST-1600和TPD上的F1值分别达到了93.7%和94.1%,与主流方法相比具有更高的检测结果。为了进一步验证所提方法的适应性,在多方向自然场景文本数据集ICDAR 2015和多语言文本数据集MSRA-TD500上的F1值分别取得了87.7%和87.0%,具有较强的鲁棒性。

基于对比学习的非对称编解码结构的心脏MRI分割研究

全监督方法在心脏磁共振成像(MRI)分割任务中的成功依赖于大规模标记数据集,然而由于患者隐私及人工标注困难等问题,心脏MRI标注数据规模较小,使全监督方法面临挑战。基于半监督的对比学习方法,设计双分支编码与单分支解码的心脏MRI分割网络CPCL-Net,引入图像和像素的联合对比损失,提升了模型对数据样本的特征表达能力。为了增强CPCL-Net对Hard负样本的分割精度,设计动态自适应加权模块(DAWM),利用生成的α和β权重因子评估样本级别和像素级别的训练贡献度,使模型分割精度得到大幅提升。基于自动心脏诊断挑战赛(ACDC)数据集的实验结果表明,该网络模型仅利用少量标注样本即可获得较高的分割精度,缓解了心脏MRI高质量标注样本不足导致的分割精度低下问题,并且在标注样本规模相同的情况下,对心脏左心室、右心室、心肌等部位的分割精度分别为86.17%、85.52%、84.55%,优于现有的4种典型半监督分割模型以及经典的对比学习框架Sim-CLR,有效缓解了全监督分割模型对样本规模的依赖及过拟合问题。

基于改进的V-Net模型肺结节分割算法的研究

由于CT图像是三维图像,在原始的V-Net模型分割中,易出现结节漏检和边界分割不清晰,以及损失函数Dice训练时不稳定等问题。根据这些问题,提出3D多尺度SE V-Net,简称MSEV-Net网络,同时通过联合损失函数来提高训练的稳定性。该网络模型在V-Net网络的基础上,使用多尺度卷积模块来替换原有的5×5×5卷积,同时在残差连接后加入SE通道注意力模块,通过不同尺度的特征融合和学习不同通道之间的关系,解决肺结节小不易分割的问题。同时在V-Net网络残差连接基础上加一条短跳跃连接,使得整个网络更好利用全局特征。联合损失函数选择Dice和交叉熵损失函数进行融合,可以很好地解决训练不稳定问题。提出的MSEV-Net网络模型和联合损失函数在平均分割准确率PA达到0.998,DSC达到0.837。实验结果表明,该方法在提高肺结节分割精度方面具有一定的效果。

基于文本特征融合的双流生成对抗修复网络

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络采用融入注意力机制的U-Net作为主干网络,充分提取图像结构和纹理特征。采用上下文本特征融合网络充分挖掘图像高级语义及特征信息的上下文关系,实现空洞区域的结构及纹理特征的填充与精细修复。采用结构与纹理双流鉴别器来估计纹理和结构的特征并统计信息来区分真实图像和生成图像。采用基于语义的联合损失函数以增强修复图像在语义上的真实性。将本文算法与对比算法中表现最好的CTSDG算法在CelebA和Places2数据集上进行对比,其中PSNR与SSIM值在CelebA上分别提升2.74 dB和5.80%,FID下降4.02;PSNR与SSIM值在Place2上分别提升4.15 dB和3.33%,FID下降2.33。因此,改进的图像修复方法的客观评价指标更优,能够更加有效地修复破损图像的结构和纹理信息,使得图像修复的性能更佳。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

改进U-Net模型在遥感影像建筑物提取中的应用

针对传统遥感影像建筑物方法提取背景复杂影像时存在的精度低、图像边缘预测效果差等问题,本文在U-Net模型的基础上提出一种改进模型。首先,为防止过拟合现象产生,向U-Net收缩路径中加入随机失活(Dropout)函数;其次,为提升模型训练速度,向扩张路径中加入批量归一化层;最后,为提升模型的图像边缘预测效果,选择联合损失函数为模型损失函数。通过武汉大学(WHU)建筑物数据集进行实验,结果表明本文模型在建筑物提取完整度、边界分割精度等方面都有不错的表现,尤其是针对较小建筑物的提取效果更好,其中精度指标UIo、AO、Kappa系数分别达到了76.876%、91.413%、81.225%,相比对比模型的精度指标更优,从而验证了本文方法的可靠性。

改进UNet+ +与联合损失函数的建筑物提取方法

针对现有遥感影像建筑物提取方法中存在的特征提取不充分等问题,提出了一种改进UNet++与联合损失函数的建筑物提取方法。通过引入ResNeSt50编码器以增强对建筑物复杂结构的特征提取能力,采用融合Sigmoid激活函数和二进制交叉熵损失的联合损失函数,以平衡模型的准确性和训练的收敛速度,进而提高模型的整体性能。在制作的赣州建筑物数据集上进行了验证,Precision、Recall和F1-Score值分别为0.945、0.926、0.935,对比FPN、PAN、PSPNet等主流网络精度较高,在WHU全球卫星建筑物数据集上进一步验证了模型的泛化能力,Precision、Recall和F1-Score值分别达到了0.894、0.870、0.882。