基于纹理特征的深度学习云和云阴影检测

针对云和云阴影检测过程中存在边界不准确以及易与地表混淆等问题,构建一种融合纹理特征模块的卷积神经网络模型对Landsat 8遥感图像进行云和云阴影检测。引入基于统计特性的纹理特征模块进行纹理特征的提取和学习,在训练过程采用焦点损失函数削弱样本不均衡带来的影响。实验结果表明,该模型细化了云和云阴影的边界等纹理细节,减少了云和云阴影的误检和漏检现象,提高了云和云阴影的检测精度。

一种轻量型果园环境果实检测方法

果园环境下柑橘的快速准确检测是自主采摘机器人作业的关键.针对现有的模型过于冗余、检测速度与精度不平衡等问题,提出一种轻量型果园环境果实检测方法.在YOLOv4算法的基础上引入焦点损失函数(Focal Loss)来提高模型在二分类检测任务中的负样本挖掘能力,并针对模型参数冗余等问题提出一种优化的模型剪枝方法.试验结果表明:提出的方法在果园环境中柑橘果实数据集检测得到的平均精度均值(mean average precision,M_(AP))达到94.22%,相较于YOLOv4模型提高了1.18%,模型参数减小了95.22%,模型尺寸为原来的4.84%,检测速度为原来的4.03倍.

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

基于自适应空间特征增强的多视图深度估计

为了提高多视图深度估计结果精度,提出一种基于自适应空间特征增强的多视图深度估计算法。设计了由改进后的特征金字塔网络(feature pyramid network,FPN)和自适应空间特征增强(adaptive space feature enhancement,ASFE)组成的多尺度特征提取模块,获取到具有全局上下文信息和位置信息的多尺度特征图像。通过残差学习网络对深度图进行优化,防止多次卷积操作出现重建边缘模糊的问题。通过分类的思想构建focal loss函数增强网络模型的判断能力。由实验结果可知,该算法在DTU(technical university of denmark)数据集上和CasMVSNet(Cascade MVSNet)算法相比,在整体精度误差、运行时间、显存资源占用上分别降低了14.08%、72.15%、4.62%。在Tanks and Temples数据集整体评价指标Mean上该模型优于其他算法,证明提出的基于自适应空间特征增强的多视图深度估计算法的有效性。

基于知识蒸馏的不平衡数据下入侵检测方法研究

基于深度学习的网络入侵检测模型面临模型结构复杂、部署效率低及流量数据类别不平衡的问题.针对这些问题,提出了1种结合知识蒸馏和类别权重焦点损失的网络入侵检测方法.该方法以精度高、参数量较多的入侵检测模型作为教师模型,与小型学生模型生成蒸馏损失;引入增加类别权重的焦点损失函数作为学生损失;结合蒸馏损失与学生损失生成总的损失函数优化学生模型.实验结果表明,该方法性能相较于非蒸馏模型在各项指标上均有一定提升.

基于Res2Net的人脸表情识别方法

为解决自然条件下人脸表情识别易受角度、光线、遮挡物的影响以及人脸表情数据集各类表情数量不均衡等问题,提出基于Res2Net的人脸表情识别方法。使用Res2Net50作为特征提取的主干网络,在预处理阶段对图像随机翻转、缩放、裁剪进行数据增强,提升模型的泛化性。引入广义平均池化(generalized mean pooling, GeM)方式,关注图像中比较显著的区域,增强模型的鲁棒性;选用Focal Loss损失函数,针对表情类别不平衡和错误分类问题,提高较难识别表情的识别率。该方法在FER2013数据集上准确率达到了70.41%,相较于原Res2Net50网络提高了1.53%。结果表明,在自然条件下对人脸表情识别具有更好的准确性。

改进ConvNeXt的肝囊型包虫病超声图像五分类研究

肝包虫病是严重危害人畜健康的重要人畜共患寄生虫病,超声检查是肝包虫病的首选检查方法,采用深度学习技术能够有效减少人工误差,降低成本并提高诊断效率。以ConvNeXt模型为基础,结合焦点损失函数和Lion优化器,最后引入CBAM构建CLCFNet模型实现肝囊型包虫病早期筛查和精确诊断。在肝囊型包虫病超声影像数据集进行的消融实验表明,对比基准模型分类准确率、精确率、召回率、特异度和F1指数平均提升了4.3%、21%、25%、4%和26%,对比实验也验证了所提出方法各指标优于现有流行方法。改进算法显著降低了模型推理时间,增强了模型训练的稳态性能,可以实现肝囊型包虫病的快速和精准分类识别。

基于Unet+Attention的胸部CT影像支气管分割算法

目前肺气管分割中,由于CT图像灰度分布复杂,分割目标像素近似,易造成过分割;而且肺气管像素较少,难以得到更多目标特征,造成细小肺气管容易被忽略。针对这些难点,本研究提出结合Unet网络和注意力机制的肺气管分割算法,注意力机制使用的是关注通道域和空间域的卷积块注意力模型(CBAM),该模型提高了气管特征权重。在损失函数方面,针对原始数据中正负样本失衡的问题,引入focal loss损失函数,该函数对标准交叉熵损失函数进行了改进,使难分类样本在训练过程中得到更多关注;最后通过八连通域判断将孤立点去除,保留较大的几个连通域,即最后的肺气管部分。选用由合作医院提供的24组CT影像和43组CTA影像,共计26157张切片图像作为数据集,进行分割实验。结果表明,分割准确率能够达到0.86,过分割率和欠分割率均值为0.28和0.39。经过注意力模块和损失函数的消融实验,在改进前的准确率、过分割率和欠分割率分别为0.81、0.30、0.40,可见其分割效果均不如Unet+Attention方法。与其他常用方法在相同条件下进行比较后,在保证过分割率和欠分割率不变的情况下,所提出的算法得到了最高的准确率,较好地解决了细小气管分割不准确的问题。

基于注意力机制的人体关键点隐式建模网络

人体姿态估计任务需要利用视觉线索和关节间的解剖关系来定位关键点,但基于卷积神经网络的方法难以关注远程上下文线索和建模远距离关节之间的依赖关系。为此,提出一种基于注意力机制的隐式建模方法,通过多阶段迭代计算关节之间的特征相关性来隐式建模关键点间的约束关系,消除卷积神经网络的局部操作,扩大网络的感受野,建模远距离关节之间的依赖关系。为了解决网络在训练过程中可能弱化不可见关键点的问题,采用焦点损失函数,使网络更关注于复杂的关键点。使用目前精度最高的特征提取高分辨率网络(HRNet)和经典特征提取残差网络(ResNet)作为主干网络进行实验,结果表明,在同等实验条件下,隐式建模方法可以提高人体姿态估计网络的性能,在MPII和MSCOCO人体姿态估计基准数据集上,以HRNet网络为主干网络的算法相较于原网络,精度分别提升了1.7%和2.6%。

基于卷积神经网络的番茄叶部病害识别方法

【目的】利用卷积神经网络构建作物病害识别模型,提高识别性能,解决作物病害识别性能低、泛化效果差等问题。【方法】通过数据增广技术增加样本多样性,引入聚焦损失改进模型学习目标,解决样本非均衡问题,分析比较不同卷积神经网络结构的识别性能,并用类激活图生成技术度量模型的可靠性。在番茄叶部病害数据集上验证方法的有效性。【结果】应用数据增广技术后,模型在简单背景样本上的识别准确率提高了1.0%,在复杂背景样本上提高了12.5%;聚焦损失使模型的准确率提高了0.1%;该模型的识别准确率为99.8%,对各类病害的召回率在97.3%以上;应用类激活图技术生成的显著性图可有效标识模型在识别过程中的重点关注区域。【结论】该方法能够有效解决病害图像样本非均衡问题,提高了病害识别模型的泛化性能,同时类激活图可以用于分析模型的可靠性,从而为番茄叶部病害防治提供参考。

不平衡样本下的SA-YOLO自适应损失目标检测算法

样本不平衡现象是指在数据集中以背景为主的易样本数量较大,而以前景为主的难样本数量过少,即样本存在类间不平衡与难易不平衡问题。现有目标检测算法大多是基于候选区域的两阶段算法或基于回归的单阶段算法,当应用于不平衡样本时无法避免训练中产生的预测框对大量样本过度依赖,从而导致模型过拟合且检测精度低,准确性、泛化性差。为了在不平衡样本下实现高效精准的目标检测,提出一种全新的SA-YOLO自适应损失目标检测算法。(1)针对样本不平衡问题,提出SA-Focal Loss函数,能够针对不同数据集与训练阶段对损失进行自适应调节,以达到平衡类间样本与难易样本的效果。(2)在多尺度特征预测机制下构造CSPDarknet53-SP网络架构,增强困难小目标样本全局特征的提取能力,达到提升难样本检测精度的效果。为验证SA-YOLO算法的性能,分别在样本不平衡数据集与COCO数据集上进行了大量仿真实验。结果表明:相较于现有YOLO系列算法最优指标值,SA-YOLO在不平衡数据集中mAP可达91.46%,提升10.87%,各类目标AP 50提升均在2%以上,有极强的专精性;在COCO数据集中mAP 50提升1.58%,各项指标均不低于最优值,有良好的有效性。

基于改进轻量化YOLOX的无人机航拍目标检测算法

针对小型无人机在巡逻航拍中的应用,提出了一种改进的轻量化目标检测算法,有效解决巡逻过程中空地无线传输信道和机载端计算能力双重受限的难题;该算法在YOLOX算法的基础上,首先利用Mobilenetv2代替CSPDarknet骨干网络作为特征提取网络,降低了模型参数量和计算量,提高目标检测实时性;其次为了弥补轻量化带来的检测精度下降,考虑检测目标框的长宽比引入CIOU定位损失函数,提升目标定位的精度;同时为了平衡训练过程中的正负难易样本,引入Focal Loss置信度损失函数提升模型的检测性能;基于VisDrone2019-DET数据集实验表明,改进后算法模型参数量降低了56.2%,计算量降低了52.5%,在检测精度没有明显下降情况下单张图片推理时间减少了41.4%;最后,将改进后的算法部署到Nvidia Jetson Xavier NX机载端,测得模型检测帧率可达22 FPS,改进后算法满足巡逻任务的应用需求。

基于焦点损失的ATCN-GRU语音情感识别

为了改善RNN的空间信息丢失和CNN忽略时序信息的问题,引入了时间卷积网络TCN,将上述网络与双向门控循环单元Bi-GRU以及注意力机制组合构建了声学模型ATCN-GRU来进一步提高语音情感识别的性能,并通过加入焦点损失改善EMODB和IEMOCAP数据库训练样本不平均导致的识别结果不均衡问题。首先,通过TCN残差块从手工提取的特征中选取最具有代表性和鲁棒性的特征;其次,利用Bi-GRU模型学习语音样本的上下文相关信息,并利用注意力机制学习模型的输入序列与输出序列之间的关联程度,从而给予有效信息更多关注;最后,通过Softmax层对情感进行分类。相较于前人的研究成果,模型ATCN-GRU取得了更好的识别性能:在CASIA、EMODB以及IEMOCAP三个数据库上分别取得了88.17%、85.98%和65.83%的平均准确率;引入焦点损失后,EMODB和IEMOCAP数据库上的平均准确率分别达到了86.26%和66.30%。

局部判别损失无监督域适应方法

在无监督域适应任务中,源域和目标域的分布不同,源域数据标签已知,但是目标域的数据标签未知。最大平均差异MMD是一种具有代表性的分布度量方法,广泛应用于源域与目标域之间的分布差异度量。然而,MMD度量及其变种方法通常忽略了样本的类内紧凑性和类间可分离性,降低了特征表达的可判别性。因此,提出局部判别损失无监督域适应方法,从2个方面提升域适应方法的判别能力:(1)重新设计MMD度量方法的权重,解决类别不均衡问题,使难对齐类别在域间分布上保持一致;(2)探索局部对比损失,平衡正样本对和负样本对之间的关系,从而学习到更好的判别性特征。结合域间损失和类间损失,可使同一类样本靠近,不同类样本之间远离。该方法简单有效,即插即用,可扩展至注意力机制的网络结构上。在多个域适应数据集上,该方法的有效性均得到了验证。

基于改进YOLOX-s的车辆检测方法研究

为缓解车辆小目标漏检及误检问题,提出一种基于YOLOX网络的多尺度特征融合的改进车辆检测模型。设计基于深度可分离卷积的Ghost-CSP(cross stage partial),替换网络的部分跨阶段局部结构,加快检测速度;将模型的最大池化方式改进为Softpool方式,并引入坐标注意力机制,增强待检测目标的特征表达,优化目标漏检问题;选用Focal Loss作为模型置信度损失函数以增加分类不准确样本的权重,提高模型对小目标的预测能力。实验结果表明:改进算法平均准确率提高到74.96%,速度达到73帧/s,在满足实时性要求下可以更好地完成车辆目标检测要求。

用于胸片分类的自校正特征融合金字塔网络

胸部疾病的病灶区域面积差异较大,易受健康部位的影响,难以定位,并且用于诊断疾病的X射线胸片样本数据分布不平衡,导致胸部疾病分类网络的分类准确度较低.针对胸部疾病分类任务中仍然存在的问题和挑战,本文提出了一种自校正特征融合金字塔网络.该网络使用自校正卷积增强疾病部位在特征图上以及通道之间的位置联系,在不引入额外参数量的条件下增大了卷积的感受野,避免无病区域的信息干扰;然后通过特征融合金字塔网络整合多尺度图像特征信息,在获取高分辨率特征图的同时,能够准确地定位病变区域,可以更好地识别不同尺度疾病的特征,在多标签分类任务上具有独特的优势;同时引入频率通道注意力机制强化网络对疾病特征的提取能力,在上采样和特征融合变换之前,减少全局平均池化过程中造成的特征丢失;最后提出一种轮次焦点损失函数区分不同种类胸部疾病的训练程度,根据分类难易程度区分样本,并在不同的训练轮次调整权重,以解决胸部疾病样本分布不平衡问题.在ChestX-ray14数据集上的平均AUC值可达0.853,在CheXpert数据集上的平均AUC值可达0.903,超过了近年来较为先进的网络模型.实验结果表明,该网络与传统的胸部疾病分类网络相比能有效地提高胸部疾病的分类精度,并且具有较强的泛化能力.

傅里叶变换下的粗细双路径图像修复算法

针对传统的粗细双路径图像修复算法在修复图像时提取全局特征能力弱和所修复图像与原图像存在频域差,导致修复的图像全局结构差和存在伪影的问题,提出了傅里叶变换下的粗细双路径图像修复算法。为了改善编码器特征提取能力,设计了具有压缩奖惩机制的编码器来提升网络采集全局信息的能力;在编码器训练时首次引入焦频损失来监督图像的修复,缩小了修复图像与原图像的频域差,提升了算法修复高频成分的能力,改善了修复图像伪影和模糊性。将该算法应用于CelebA数据集,所提的算法修复的图像比基线算法所修复的图像的峰值信噪比(PNSR)、结构相似性(SSIM)等性能分别提高了1.18%~6.14%,0.11%~2.24%,而距离得分(FID)降低了34.58%~38.79%。实验结果表明,所提算法以微小的时间成本获取了较好的性能提升,增强了修复图像的全局结构性和清晰度。

基于改进YOLOv5的织物缺陷检测

鉴于织物表面纹理复杂导致织物缺陷检测准确率低以及小目标检测困难等问题,提出一种基于改进YOLOv5的织物缺陷检测算法。首先,在YOLOv5的骨干网络上,增加CBAM注意力机制,从而强化有用的特征信息弱化无用的特征信息;其次,将Neck层的路径聚合网络(PANet)用加权双向特征金字塔网络(Bi-FPN)替换,从而更好地平衡多尺度特征信息,提高小目标检测的特征能力。最后,通过改进损失函数,使用Focal EIOU Loss损失函数来代替CIOU Loss损失函数,不仅使得收敛速度更快,而且可以有效的解决难易样本不平衡问题。实践证明:改进后的训练模型平均精度均值mAP值为84.5%,比未改进增加了4.7%,可满足实际生产中的织物缺陷检测要求。

基于RF-FL-LightGBM算法的信用风险评估模型研究

为了解决大数据环境下高维度稀疏的客户信用特征以及样本不平衡问题,从而提高客户的信用评估准确度,论文提出了基于RF-FL-LightGBM算法的信用风险评估模型。首先利用随机森林(RF)对高维数据进行重要性排序和筛选,剔除容易引起模型过度拟合和冗余无效的特征;其次将基于Focal Loss函数改进后的二分类平衡交叉嫡损失函数(FL)作为LightGBM模型的损失函数,以此改善正负样本不平衡导致模型准确度降低的情况,从而提高模型的分类性能。使用某金融租赁公司的历史客户数据集进行实验,结果表明,RF-FL-LightGBM模型的F1值、AUC值都明显高于XGBoost和LigthGBM模型。RF-FL-LightGBM算法不仅有效处理了高维稀疏不平衡样本数据,还提高了客户属性的分类精确度且执行效率更高。

考虑数据不平衡的轨道交通装备液压系统内泵泄漏智能诊断方法研究

针对液压系统内泵泄漏诊断的数据集不平衡问题,提出了一种两阶段处理方法,使用变分编码器对少数类样本进行合成,将少数类故障样本补全到和正常样本一致。再使用焦点损失对故障分类模型进行训练,增强分类器对难分类样本的诊断能力。所提出方法经过消融实验验证,能够有效处理不平衡数据集。