基于多损失融合和混洗注意力的车载LiDAR点云道路标线提取方法

道路标线的准确提取在高级辅助驾驶系统和高精度地图的开发中具有重要意义。针对现有的基于阈值的车载激光点云道路标线提取方法在反射强度与点密度分布不均、道路标线与路面对比度低时提取效果较差的问题,本文提出了基于多损失融合和混洗注意力的车载LiDAR点云道路标线提取方法。选取典型高速公路试验样区进行道路标线提取试验,并与常规方法进行了精度对比分析。试验表明,本文方法在道路标线提取精度方面优于其他方法,有望更好地服务于自动驾驶的高精度地图开发应用。

基于损失融合策略的长时域中断航迹关联

针对目标中断航迹关联存在泛化能力差,长时域中断时关联正确率较低的问题,提出了基于损失融合策略的长时域中断航迹关联方法。首先通过航迹预测将历史航迹预测到与新航迹时域重叠的时刻,计算航迹间平均距离,构造距离损失矩阵,同时计算中断前后航迹的特征参数差值构造特征参数损失矩阵;然后将两类损失融合,构造整体关联代价矩阵;最后通过匈牙利算法实现中断航迹关联决策。将所提方法与距离损失关联方法、特征参数损失关联方法进行实验对比,结果表明,所提方法在不同的场景下关联正确率最高,且对中断时间的适应能力更强,在目标运动状态稳定的场景下平均关联正确率达到90.9%,中断时间小于90 min时,关联正确率优于86%。

基于特征关联和多损失融合的行人再识别方法

为增强遮挡场景下所提取行人特征的判别力,有效挖掘样本类别信息,提出了一种基于特征关联和多损失融合的行人再识别方法。首先利用姿态估计器生成的人体关键点作为辅助信息,引导模型关注行人图像未被遮挡区域,提取姿态引导的全局特征;其次引入全局对比池化模块,将平均池化和最大池化的特性进行融合,提取对背景噪声和遮挡抗干扰性更强的全局特征;然后引入One-vs-rest关系模块,挖掘局部分块特征的内在关系,提取能够反映图像整体信息的局部特征;最后将交叉熵损失、难样本采样三元组损失和中心损失这3种损失函数进行加权融合,监督模型学习类间距离大、类内距离小的行人特征。在Occluded-DukeMTMC数据集进行的评估结果表明,所提算法Rank-1和mAP分别达到54.9%和41.5%,充分体现了改进后方法在处理行人再识别遮挡问题时的有效性和先进性。

基于多损失融合与谱归一化的图像超分辨率方法

图像超分辨率重建研究存在结果客观衡量指标不断变优,但是视觉感知质量依旧平滑的问题。同时,应用生成对抗网络的超分辨率模型中的鉴别器(discriminator)设计存在一个普遍的问题,即训练不稳定问题。针对以上问题作出两点改进:提出多损失融合的方法,寻求一种在PSNR指标与感知质量之间的平衡,通过将均方误差损失、感知损失、风格损失与对抗损失进行融合的方法,在提高PSNR值的同时,改善图像视觉质量;在基于生成对抗网络的超分辨率模型的鉴别器设计中引入谱归一化(spectral normalization),以实现更稳定有效的训练。结果显示,改进后的方法得到了更高的PSNR指标与更逼真的视觉感知质量,并进一步表明感知质量对于超分辨率重建的重要性。

基于局部特征与多损失融合的车型精细识别算法

针对车型精细识别率低的问题,提出基于局部特征与多损失融合的车型精细识别算法。首先通过Faster RCNN获取区分度较大的车脸区域;然后在识别网络中,借助VGG 16提取车脸特征,在输出层对SoftMax损失和中心损失进行加权融合,有效地引导网络学习类内距离较小、类间距离较大的特征。实验结果表明:所提算法在中山大学VRID-1数据集的识别准确率为98.80%,车型精细识别准确率得到了明显的提升。

多损失融合网络的中国书法字体与风格分类

目的中国书法博大精深,是中国文化很重要的组成部分。书法字体与风格分类是书法领域的研究热点。目前书法字体和书法风格两个概念混淆,并且书法风格分类准确率不高,针对上述问题,本文将两个概念进行区分,并提出了一个融合多损失的孪生卷积神经网络,能同时解决中国书法字体以及风格分类问题。方法提出的网络包含两个共享权重的分支,每个分支用于提取输入图像的特征。为了获得不同尺度下的特征表示,将Haar小波分解嵌入到每个网络分支中。与传统孪生神经网络不同的是,将网络的每个分支扩展为一个分类网络。网络训练时融合了两类不同的损失,即对比损失和分类损失,进而从两个角度同时对网络训练进行监督。具体来说,为了使来自同一类的两幅输入图像特征之间的距离尽可能小、使来自不同类的两幅输入图像特征之间的距离尽可能大,网络采用对比损失作为损失函数。此外,为了充分利用每幅输入图像的类别信息,在网络每个分支上采用交叉熵作为分类损失。结果实验结果表明,本文方法在两个中国书法字体数据集和两个中国书法风格数据集上的分类准确率分别达到了99.90%、94.09%、99.38%和93.28%,高于对比方法。两种损失起到了良好的互补作用,Haar小波分解的引入在4个数据集上均提升了分类准确率,在风格数据集的提升效果更为明显。结论本文方法在中国书法字体以及风格分类两个任务中取得了令人满意的效果,为书法领域研究工作提供了新思路。

基于特征级联融合的图像篡改检测方法

针对图像篡改检测领域中不能有效处理不同尺度特征问题,提出一种特征级联融合检测网络.网络采用特征级联融合模块结合U型分割网络结构,有效融合不同尺度的特征信息.通过在每个网络块融合浅层特征信息、瓶颈层和深层特征信息,以弥补深层语义信息的不足,并抑制背景信息干扰,提升了浅层网络的检测能力,实现了对篡改区域的精准定位.实验结果表明,与现有的图像篡改检测方法相比,特征级联融合检测网络显示出更高的准确性和稳定性,在CASIA数据集上F-measure提高了3%,在COLUMB数据集上提高了4%,证明了其在图像篡改检测任务中的有效性.

无粒子损失的W态融合研究综述

纠缠W态是量子通信的关键资源,而融合技术已被证明是制备大规模纠缠W态的有效方法.简要综述几类重要的有粒子损失的W态融合方案及相互关系,并着重阐述无粒子损失的W态融合方案及其物理原理,最后给出总结与展望.

复杂环境下多模态特征融合的疲劳驾驶检测

为了避免因疲劳驾驶而导致交通事故的发生,维护城市道路交通和驾乘人员生命安全,该项目针对传统疲劳驾驶检测方法存在着精度低、参数复杂、泛化能力差等核心问题,采用MTCNN模型和基于红外的rPPG等理论,在光照变化、部分遮挡和头部偏转等复杂行车环境下精确提取驾驶员面部与生理信息;同时在深层挖掘多模态的特定疲劳信息后,结合多损失重构(MLR)的特征融合模块利用各模态间的互补信息,避免了单模态检测方法存在的局限性,进一步构建了多模态特征融合模型,增强模型的准确性与鲁棒性;最后考虑到疲劳的时序性,基于Bi-LSTM模型建立了疲劳驾驶检测模块。在自制数据集FAHD上展开实验,证明了红外生理特征提取模型的可靠性,多模态特征输入的有效性,同时与现有融合方法相比,本文方法融合后的预测结果与疲劳标定值间的相关系数提高了5.6%,均方根误差减少25%,疲劳检测系统准确率达到了96.7%,在推动智慧交通发展的同时对维护交通安全也有较好的积极意义。

基于融合损失函数的3D U-Net++脑胶质瘤分割网络

胶质瘤是大脑和脊髓胶质细胞癌变所产生的、最常见的原发性颅脑肿瘤。从多模态MRI中对胶质瘤组织进行可靠的分割具有很重要的临床价值,但是由于脑胶质瘤本身及周边组织较为复杂以及浸润性导致的边界模糊等,导致对脑胶质瘤的自动分割有一定的难度。文中构建了使用融合损失函数的3D U-Net++网络来对脑胶质瘤的不同区域进行分割,该网络使用不同层级的U-Net模型进行密集嵌套连接,使用网络的4个分支的输出结果作为深度监督以更好地结合深层和浅层的特征进行分割,并结合了Dice损失函数和交叉熵损失函数作为融合损失函数来提升小区域的分割精度。在2019年多模态脑肿瘤分割挑战赛(BraTs)的公共数据集划分的独立测试集中,采用Dice系数、95%Hausdorff距离、平均交并比(mIoU)、查准率(PPV)指标对所提方法进行了评估。结果表明,全肿瘤区域、肿瘤核心区域和增强肿瘤区域的Dice系数分别为0.873,0.814,0.709;其95%Hausdorff距离分别为15.455,12.475,12.309;其mIoU分别为0.789,0.720,0.601;其PPV分别为0.898,0.846,0.735。与基础的3D U-Net以及带深度监督的3D U-Net相比,所提方法可以有效地利用多模态的深层和浅层的信息,有效利用了空间信息,同时使用了Dice系数和交叉熵的融合损失函数,从而有效提升了对肿瘤各区域的分割精度,尤其是对小面积的增强肿瘤区域的分割精度。

多分辨率融合输入的U型视网膜血管分割算法

针对视网膜血管拓扑结构不规则、形态复杂和尺度变化多样的特点,该文提出一种多分辨率融合输入的U型网络(MFIU-Net),旨在实现视网膜血管精准分割。设计以多分辨率融合输入为主干的粗略分割网络,生成高分辨率特征。采用改进的ResNeSt代替传统卷积,优化血管分割边界特征;将并行空间激活模块嵌入其中,捕获更多的语义和空间信息。构架另一U型精细分割网络,提高模型的微观表示和识别能力。一是底层采用多尺度密集特征金字塔模块提取血管的多尺度特征信息。二是利用特征自适应模块增强粗、细网络之间的特征融合,抑制不相关的背景噪声。三是设计面向细节的双重损失函数融合,以引导网络专注于学习特征。在眼底数据用于血管提取的数字视网膜图像(DRIVE)、视网膜结构分析(STARE)和儿童心脏与健康研究(CHASE_DB1)上进行实验,其准确率分别为97.00%,97.47%和97.48%,灵敏度分别为82.73%,82.86%和83.24%,曲线下的面积(AUC)值分别为98.74%,98.90%和98.93%。其模型整体性能优于现有算法。

基于改进残差网络的运动目标模糊图像复原方法

传统的残差网络在复原运动目标模糊图像时,在模糊程度较严重的情况下,存在特征提取不充分、噪声干扰等问题,导致恢复出的图像无法完全达到原始图像的清晰度和细节。对此,提出基于改进残差网络的运动目标模糊图像复原方法。对采集到的运动目标模糊图像,采用多损失函数融合方法改进传统残差块结构,构建编码器-解码器网络训练结构,训练损失函数,提升网络的特征学习能力。通过完成训练的网络,输出运动目标模糊图像复原结果。实验结果表明,该方法复原运动目标模糊图像的峰值信噪比高于30 dB,结构相似性高于0.9。

一种基于新型损失函数的Listwise排序学习方法

排序学习是指运用机器学习方法,自主地构建排序模型,用来对新的数据进行排序。在所有的排序方法中,Listwise方法就是其中一类重要的排序学习方法,它的训练样例由文档列表组成,利用神经网络模型和概率模型来构造损失函数。但是由于Listwise算法存在时间复杂度高、排序位置信息利用度低等缺点,一直得不到广泛的推广。对此,文中在SHF-SDCG框架的基础上提出了一种新的排序学习算法,采用多层神经网络的List Net算法,引入Pointwise损失函数和位置加权因子,与Listwise损失函数融合构建新的损失函数,并分别使用梯度下降算法和多层神经网络算法训练网络权值,得到新的排序模型;同时使用效率高的Top-k训练方法,降低时间复杂度。最后在数据集LETOR4.0上进行实验,结果表明新算法排序性能明显提高。

一种基于融合深度卷积神经网络与度量学习的人脸识别方法

现有的卷积神经网络方法大多以增大类间距离为学习目标,而忽略类内距离的减小,这对于人脸识别来说,将导致一些非限制条件下(如姿态、光照等)的人脸无法被准确识别,为了解决此问题,提出一种基于融合度量学习算法和深度卷积神经网络的人脸识别方法。首先,提出一种基于多Inception结构的人脸特征提取网络,使用较少参数来提取特征;其次,提出一种联合损失的度量学习方法,将分类损失和中心损失进行加权联合;最后,将深度卷积神经网络和度量学习方法进行融合,在网络训练时,达到增大类间距离同时减小类内距离的学习目标。实验结果表明,该方法能提取出更具区分性的人脸特征,与分类损失方法及融合了其他度量学习方式的方法相比,提升了非限制条件下的人脸识别准确率。

全距离深度平衡立体匹配网络

针对当前视差估计网络在将视差转换成深度时,存在深度精度受相机参数影响,且在远距离处产生深度精度急剧下降的问题,提出一种全距离深度平衡立体匹配网络(FRDBNet)。首先构建深度代价体,使网络学习到全距离深度的概率分布,进行深度回归直接生成深度;然后采用视差与深度损失融合的训练策略使网络同时关注远中近三分段全距离的深度估计;最后,基于初始视差右图对应点7邻域特征设计视差优化模块进一步提高网络的深度估计精度。在大型真实驾驶场景Driving Stereo数据集上的实验表明,针对全距离[1,100]m的深度估计,FRDBNet在[1,30]m近距离、[30,60]m中距离和[60,100]m远距离处深度精度相比CVPR2022性能表现优越的ACVNet分别提高10.38%、15.11%和20.35%,达到了良好的深度精度平衡。

基于多级跳跃残差组的运动人像去模糊网络

为解决复原后的运动模糊人像图像的轮廓模糊、细节丢失等问题,提出了基于多级跳跃残差组生成对抗网络(GAN)的运动人像去模糊方法。首先,改进残差块以构造多级跳跃残差组模块,并改进PatchGAN的结构以使GAN能够更好地结合各层的图像特征;其次,使用多损失融合的方法优化网络,从而增强重建后图像的真实纹理;最后,采用端到端的模式将运动模糊的人像图像进行盲去模糊操作,并输出清晰的人像图像。在CelebA数据集上的实验结果表明,相较于DeblurGAN(Deblur GAN)、尺度循环网络(SRN)和MSRAN(Multi-Scale Recurrent Attention Network)等基于卷积神经网络(CNN)的方法,所提方法的峰值信噪比(PSNR)和结构相似度(SSIM)分别至少提高了0.46 dB和0.05;同时,所提方法的模型参数更少,修复速度更快,且复原后的人像图像具有更多的纹理细节。

面向图像修复取证的U型特征金字塔网络

图像修复是一种常见的图像篡改手段,而基于深度学习的图像修复方法能生成更复杂的结构乃至新的对象,使得图像修复取证工作更具有挑战性。因此,提出一种端到端的面向图像修复取证的U型特征金字塔网络(FPN)。首先,通过自上而下的VGG16模块进行多尺度特征提取,并利用自下而上的特征金字塔架构对融合后的特征图进行上采样,整体流程形成U型结构;然后,结合全局和局部注意力机制凸显修复痕迹;最后,使用融合损失函数以提高修复区域的预测率。实验结果表明,所提方法在多种深度修复数据集上的平均F1分数和IoU值分别为0.7919和0.7472,与现有的基于扩散的数字图像修复定位(LDI)、基于图像块的深度修复取证方法(Patch-CNN)和基于高通全卷积神经网络(HP-FCN)方法相比,所提方法具有更好的泛化能力,且对JPEG压缩也具有较强的鲁棒性。

基于多尺度循环残差神经网络的图像去运动模糊

现有图像去运动模糊结果容易在视觉感知上产生边缘特征不明显,出现大幅度的伪影现象,且在深度网络训练过程中,存在因加深网络导致参数过多不易训练即不稳定的问题,为此提出多尺度循环残差神经网络模型。在SRN基础上,为平衡评价指标(PSNR、SSIM)与感知质量,提高图像中的高频细节信息等,进行多损失融合改进;在网络的编码器-解码器结构中,在其卷积层中使用小卷积核堆叠,加深网络的同时使网络参数更少更容易训练,更好地拟合图片的特征信息。实验结果表明,改进算法生成的网络模型取得了更好的去模糊结果。

基于注意力机制的改进双判别器图像修复算法

为解决基于生成式对抗网络的图像修复模型存在的修复结果效果差和内容、细节等特征信息还原不准确这一问题,提出一种融合通道、像素注意力机制的多损失生成对抗网络算法.首先,该算法利用通道注意力块获取高关联的通道特征图;然后,通过像素注意力块对高关联通道特征图上所有像素进行打分,从而获取与缺损区域关联性更高的图像未缺损区域信息;最后,通过引入Vgg16特征提取模型向生成器的优化函数中引入内容、风格损失项,以多损失融合的方式提高图像的修复效果.在目前广泛使用的CelebA数据集和SVHN数据集上验证模型的修复效果,本算法在主客观指标上均优于DCGAN算法、CE算法和DD算法.

融合残差密集与生成对抗网络的红外巡检图像超分辨率重建

为了提升电力设备红外巡检图像质量,最大程度还原图像内容的有效性和准确性,提出了一种融合残差密集与生成对抗网络的红外图像超分辨率重建方法.将残差密集网络引入到WGAN(Wasserstein Generative Adversarial Networks)网络生成器,使其在训练过程中形成连续记忆机制,提高网络对图像特征的融合能力;进一步,使用谱归一化方法优化WGAN的对抗器网络参数,提升对抗训练的稳定性和效率;构造由对抗、像素、感知和纹理损失构成的综合损失函数,完成生成图像高频细节信息的重建.超分辨率实验结果表明,重建后的电力设备红外巡检超分辨率图像在峰值信噪比上提升至32.048 2 dB,在结构相似性上提升至0.921 4,且视觉效果良好,验证了所提方法能够有效提升图像质量并具备较好的工程应用价值.