基于三维UNet与混合焦点损失函数的脑肿瘤全自动分割算法

针对脑肿瘤分割方法中由于正常脑组织、脑肿瘤等不同类别的数据量严重不平衡,导致分割精度受到极大影响的问题,提出一种结合混合焦点损失函数与三维UNet(3D UNet)的全自动脑肿瘤分割算法。在3D UNet模型框架中,使用包含焦点损失与改进的焦点Tversky损失的混合损失函数,两种损失函数可以优势互补,分别缓解输入与输出数据类不平衡带来的不利影响,使分割模型聚焦在难以分类和学习的样本上。利用公开的脑肿瘤数据集进行相关实验,提出的混合焦点损失函数分割模型在完整肿瘤区域、核心肿瘤区域(TC)和增强肿瘤区域(ET)的Dice均值分别可达89.01%、88.67%与83.74%,豪斯多夫距离均值分别为14.29、5.01与3.84 mm,实验结果表明,基于混合损失函数的深度学习分割模型可以显著提升由于数据类不平衡导致的难以分类区域(TC和ET)的分割效果。

基于焦点损失函数的物联网入侵检测深度学习方法

物联网有望革命性地改变医疗、能源、教育、交通、制造、军事、农业等多个行业。然而,要在各行业成功部署物联网,需要设计和实施检测安全漏洞的方法。近年来,虽然许多学者和工业界研究者已经利用机器学习技术设计和实施了计算机网络入侵检测系统,但在物联网领域的研究相对较少。为解决物联网中的入侵检测问题,我们采用了专门的损失函数,能够自动降低简单样本的权重,从而有效地训练模型。我们利用两种深度学习神经网络架构实现了这一方法。在三个不同物联网领域的数据集上进行的广泛实验评估结果显示,相较于使用交叉熵损失函数,我们的方法在准确度、精确度、F1和MCC指标上均有显著提升,分别高出24%、39%、39%和60%。

基于改进ConvMixer和动态焦点损失的视听情感识别

视听双模态情感识别是情感计算领域的研究热点.目前情感识别方法存在无法同时提取视频局部和全局特征,多模态数据融合简单,损失函数在模型优化中无法关注错分样本等问题,导致情感识别结果精确度不高.本文提出一种基于改进的ConvMixer和动态权重焦点损失函数的视听情感识别方法.采用空间和时间邻接矩阵代替ConvMixer中的深度分离卷积,提取视频时域空域上的全局和局部特征.提出跨模态时间注意力模块,以对称结构捕捉模态间的时间相关性,提高特征融合效果.结合混淆矩阵计算具有动态权重的焦点损失函数,差异化地加大错分样本在损失中的占比,优化模型参数.在公开数据集上的实验结果表明,本文方法能提取到代表性特征,可有效优化网络结构,提高了情感识别的准确率.

基于焦点损失函数的嵌套长短时记忆网络心电信号分类研究

心电图(ECG)可直观地反映人体心脏生理电活动,在心律失常检测与分类领域中具有重要意义。针对ECG数据中类别不平衡对心律失常分类带来的消极作用,本文提出一种用于不平衡ECG信号分类的嵌套长短时记忆网络(NLSTM)模型。搭建NLSTM学习并记忆复杂信号中的时序特征,利用焦点损失函数(focal loss)降低易识别样本的权重;然后采用残差注意力机制(residual attention mechanism),根据各类别特征重要性修改已分配权值,解决样本不平衡问题;再采用合成过采样技术算法(SMOTE)对麻省理工学院与贝斯以色列医院心律失常(MIT-BIH-AR)数据库进行简单的人工过采样处理,进一步增加模型的分类准确率,最终应用MIT-BIHAR数据库对上述算法进行实验验证。实验结果表明,所提方法能有效地解决ECG信号中样本不平衡、特征不突出的问题,模型的总体准确率达到98.34%,较大地提升对少数类样本的识别和分类效果,为心律失常辅助诊断提供可行的新方法。

基于纹理特征的深度学习云和云阴影检测

针对云和云阴影检测过程中存在边界不准确以及易与地表混淆等问题,构建一种融合纹理特征模块的卷积神经网络模型对Landsat 8遥感图像进行云和云阴影检测。引入基于统计特性的纹理特征模块进行纹理特征的提取和学习,在训练过程采用焦点损失函数削弱样本不均衡带来的影响。实验结果表明,该模型细化了云和云阴影的边界等纹理细节,减少了云和云阴影的误检和漏检现象,提高了云和云阴影的检测精度。

一种轻量型果园环境果实检测方法

果园环境下柑橘的快速准确检测是自主采摘机器人作业的关键.针对现有的模型过于冗余、检测速度与精度不平衡等问题,提出一种轻量型果园环境果实检测方法.在YOLOv4算法的基础上引入焦点损失函数(Focal Loss)来提高模型在二分类检测任务中的负样本挖掘能力,并针对模型参数冗余等问题提出一种优化的模型剪枝方法.试验结果表明:提出的方法在果园环境中柑橘果实数据集检测得到的平均精度均值(mean average precision,M_(AP))达到94.22%,相较于YOLOv4模型提高了1.18%,模型参数减小了95.22%,模型尺寸为原来的4.84%,检测速度为原来的4.03倍.

基于MobileViT的轻量型入侵检测模型研究

为解决入侵检测中数据不平衡对神经网络模型训练的影响和模型参数量高的问题,提出一种基于改进MobileViT的入侵检测模型。首先,使用方差分析提取对检测结果影响较高的特征,将提取后的特征转化为图像型数据,将其输入至MobileViT网络;其次,针对占比较少的攻击流量,采用焦点损失函数自适应地调整攻击流量的损失贡献,使模型更加专注于不平衡的攻击流量;最后,为解决神经元死亡问题,使用GeLU激活函数替换MobileViT网络中MV2的ReLU6激活函数,加快模型收敛速度。实验结果表明,改进的MobileViT模型参数量仅为5.67 MB,与Shufflenet、Mobilenet相比拥有最少的参数量,模型的准确率、召回率以及F_(1)分数分别达到了98.40%、96.49%、95.17%。

一种融合注意力机制的CNN-BiGRU磁盘故障预测方法研究

磁盘作为重要的存储介质,一旦出现故障很可能会导致存储数据丢失,给个人及企业带来难以估量的损失。现有磁盘故障预测模型存在不能很好地平衡磁盘数据样本、未充分利用磁盘数据的时序特性等问题。以Backblaze云存储公司公布的真实磁盘数据为研究对象,提出了一种融合注意力机制的卷积神经网络(CNN)和双向门控循环单元(BiGRU)网络的磁盘故障预测模型。在数据预处理方面,采用负采样与焦点损失函数来平衡正负样本,利用CNN进行特征提取,并结合BiGRU网络来有效地处理时序数据。通过融合注意力机制,能够让模型快速地捕捉更多关键特征信息,将筛选出的特征与数据输入模型进行训练。通过对比其他故障预测模型,本文提出的模型在精确率等4个评价指标上均有1%~7%的性能提升,为提高磁盘存储的可靠性提供了有力的支撑。

改进ConvNeXt的肝囊型包虫病超声图像五分类研究

肝包虫病是严重危害人畜健康的重要人畜共患寄生虫病,超声检查是肝包虫病的首选检查方法,采用深度学习技术能够有效减少人工误差,降低成本并提高诊断效率。以ConvNeXt模型为基础,结合焦点损失函数和Lion优化器,最后引入CBAM构建CLCFNet模型实现肝囊型包虫病早期筛查和精确诊断。在肝囊型包虫病超声影像数据集进行的消融实验表明,对比基准模型分类准确率、精确率、召回率、特异度和F1指数平均提升了4.3%、21%、25%、4%和26%,对比实验也验证了所提出方法各指标优于现有流行方法。改进算法显著降低了模型推理时间,增强了模型训练的稳态性能,可以实现肝囊型包虫病的快速和精准分类识别。

面向不平衡数据的机械设备故障命名实体识别

命名实体识别作为构建知识图谱的基础任务,其识别效果直接影响知识图谱的质量。在实际生产中,机械故障数据通常包含大量的领域专业词汇,同时实体类型普遍存在分布不平衡的问题,这对准确识别故障实体构成了挑战。通用领域实体识别方法在这一领域效果欠佳,从而降低了知识图谱的质量。为应对上述问题,提出一种融合焦点损失(Focal Loss)函数和专业词典的实体识别方法。该方法使用Focal Loss函数应对实体类型不平衡问题,通过引入平衡因子和调制系数,改进传统的交叉熵损失函数,提升实体识别效果,同时将领域专业词汇嵌入到模型中,进一步提高实体识别性能,这一词典包含机械故障的领域术语,有助于模型更准确地识别机械设备故障命名实体。在自建的矿井提升机实验数据集上进行广泛实验验证,结果证明,融入Focal Loss后模型的F1值比主流模型BERT-BiLSTM-CRF提高了5.57个百分点,相比用于解决数据不平衡的典型方法SMOTE效果更优,在此基础上,通过嵌入领域词典,模型的F1值得到进一步提升,达到89.13%。

基于XGBoost-DNN的工业控制系统入侵检测架构

针对工业控制系统安全防护中存在的数据不平衡问题以及提高检测的实时性与安全性,本文依据工业控制系统的架构特点,提出XGBoost-DNN双层入侵检测架构。在下层,将设计的权重焦点损失函数引入XGBoost中进行二分类入侵检测,以增强算法在不平衡数据下的鲁棒性;在上层,使用XGBoost算法进行特征选择,然后用DNN对结果进行多分类入侵检测。将该架构应用在电网稳定性和电网攻击模拟数据集上,实验结果表明:双层检测架构具有更强的鲁棒性,并且DNN模型的训练时间缩短了18.3%。

用于胸片分类的自校正特征融合金字塔网络

胸部疾病的病灶区域面积差异较大,易受健康部位的影响,难以定位,并且用于诊断疾病的X射线胸片样本数据分布不平衡,导致胸部疾病分类网络的分类准确度较低.针对胸部疾病分类任务中仍然存在的问题和挑战,本文提出了一种自校正特征融合金字塔网络.该网络使用自校正卷积增强疾病部位在特征图上以及通道之间的位置联系,在不引入额外参数量的条件下增大了卷积的感受野,避免无病区域的信息干扰;然后通过特征融合金字塔网络整合多尺度图像特征信息,在获取高分辨率特征图的同时,能够准确地定位病变区域,可以更好地识别不同尺度疾病的特征,在多标签分类任务上具有独特的优势;同时引入频率通道注意力机制强化网络对疾病特征的提取能力,在上采样和特征融合变换之前,减少全局平均池化过程中造成的特征丢失;最后提出一种轮次焦点损失函数区分不同种类胸部疾病的训练程度,根据分类难易程度区分样本,并在不同的训练轮次调整权重,以解决胸部疾病样本分布不平衡问题.在ChestX-ray14数据集上的平均AUC值可达0.853,在CheXpert数据集上的平均AUC值可达0.903,超过了近年来较为先进的网络模型.实验结果表明,该网络与传统的胸部疾病分类网络相比能有效地提高胸部疾病的分类精度,并且具有较强的泛化能力.

针对不平衡数据分类的改进GBDT算法

许多传统的分类算法在处理不平衡数据时,训练出的分类器对多数类别样本预测准确率较高,而对少数类别样本的预测准确率较低。针对这一问题,提出一种改进的梯度提升决策树(GBDT)算法用于处理不平衡数据的二分类问题。数据层面,用自适应综合过采样(Adaptive Synthetic Sampling)技术增加少数类的样本数量。算法层面,将焦点损失函数(Focal Loss)引入到GBDT二分类算法中,增加模型对少数类样本的关注度。并且通过平衡化GBDT内部迭代时的每一次随机子采样,使基分类器的性能更稳定。在10组KEEL不平衡数据集上进行对比实验,实验结果验证了改进的可行性。并且用提出的改进算法与SMOTEBoost、RUSBoost、CUSBoost这三种流行的不平衡数据分类算法进行比较,实验结果表明所提改进算法在其中7组数据集上F1-measure值取得最高,其中6组数据集上G-mean值取得最高,验证了所提改进算法在处理不平衡数据的二分类问题时具有较好的效果。

基于改进YOLOX算法的杨梅成熟度检测方法

为实现杨梅采摘智能化,开发杨梅成熟度检测设备,提出一种基于改进YOLOX-NANO算法的杨梅果实成熟度检测方法。通过在特征加强提取网络层中引入通道注意力模块,提高网络对通道特征的提取能力;引入焦点损失函数代替标准交叉熵损失函数,解决单阶段网络正负样本不均衡问题,避免梯度方向指向非最优解;使用高效交并比损失函数,提高网络模型对目标识别的准确率。试验结果表明,在自建数据集上与原YOLOX-NANO相比,改进YOLOX-NANO算法对于三种不同成熟度杨梅果实的识别精度均有提升,平均精度达到92.67%,而网络模型大小只增加0.059 MB,推理速度不变,在精度达到与标准结构网络相当的前提下,更易于部署到嵌入式设备中。

基于轻量级梯度提升机优化的工业互联网入侵检测方法

入侵检测作为一种积极主动的安全防护技术,对于确保工业互联网安全起着至关重要的作用。为了满足工业互联网高准确率和高实时性的入侵检测需求,提出基于轻量级梯度提升机优化的工业互联网入侵检测方法。针对工业互联网业务数据中难分类样本导致检测准确率低的问题,改进轻量级梯度提升机原有的损失函数为焦点损失函数,该损失函数可自适应动态调节不同类别数据样本的损失值和权重,支持模型在训练过程中降低易分类样本的权重,进而提高难分类样本的检测准确率;针对轻量级梯度提升机参数较多并且对模型的检测准确率、检测时间和拟合程度等影响较大的问题,利用果蝇优化算法选择模型的最优参数组合;在密西西比州立大学提供的天然气管道数据集上得到模型的最优参数组合并进行验证,并在储水罐数据集上进一步验证所提模型的有效性。实验结果表明,采用所提方法改进的模型在天然气管道数据集上的检测准确率较对比模型最少提高了3.14%,检测时间较对比模型中的随机森林和支持向量机分别降低了0.35 s和19.53 s,较决策树和极端梯度提升机分别增加了0.06 s和0.02 s,同时在储水罐数据集上取得了良好的检测结果。因此证明所提方法可以很好地识别工业互联网业务数据中的攻击数据样本,提升了在工业互联网入侵检测中的实用性。

融合注意力机制的木薯叶病害分类方法

文章针对木薯叶病害图像因病斑区域小,部分疾病特征相似和易受背景干扰而导致识别准确率低的问题,在研究ResNeXt神经网络的基础上,设计了3种方法以提高模型的准确性和鲁棒性:1)增加了一个数据不连续的掩膜层,以缓解神经网络的过拟合问题;2)引入了多头自注意力机制模块,将卷积神经网络和注意力机制结合起来,对图像的局部和全局特征进行分析,提高了相似疾病之间的可分离性;3)使用焦点损失函数缓解木薯叶病害数据集中的类别不平衡问题.仿真实验表明,改进后的算法在木薯叶病害数据集上具有较好的准确率,同时具有较好的泛化能力,适用于其他植物叶片数据集.

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明:WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。

基于迁移学习和改进残差网络的棉花叶螨为害等级识别

针对人工诊断棉叶螨害分级准确率低、耗时长、成本高的问题,提出一种基于迁移学习和改进残差网络的棉花叶螨为害等级识别方法。以3种受害等级的棉花叶片与健康叶片图像作为对象,分别于单一背景和自然环境下采集图像,构建图像数据集。首先,利用PlantVillage数据集预训练模型,使用数据增强技术对数据集进行数据增强,扩充训练样本;然后,在ResNet50网络模型的基础上,引入焦点损失函数,在不同网络层嵌入注意力机制模块,并加入Dropout正则化构建改进的ResNet50模型;最后,对比不同模型的识别效果。结果表明:同时在深层和浅层引入注意力机制模块,设定动量为0.9、学习率为0.001时,改进的ResNet50模型具有最好的分类效果,优于ResNet50、VGG16、MobileNet、AlexNet和SENet模型,对棉叶螨危害等级的平均识别准确率达到97.8%。

一种基于残差网络改进的异常流量入侵检测模型

网络攻击的准确检测对于防范信息系统中的漏洞是至关重要的.目前,虽然许多网络入侵检测模型都有较高的检测率,但仍存在对不平衡异常网络流量的识别精度低,以及误报率高的问题.因此,本文提出了一种基于残差网络改进的异常流量入侵检测模型,将CICIDS2017数据集转换为灰度图像后,在ResNet50结构的第2层~第5层添加CBAM注意力机制模块,构建残差注意力网络算法,来学习更多异常流量的关键特征.为解决数据集中的类不平衡问题,用改进的焦点损失函数代替交叉熵损失函数,来识别数据集中的小类别攻击.实验结果表明,与基线模型相比,该模型不仅实现了99.29%的总体准确率,而且对于小样本平均都有99%的检测率,这也证明了本文提出的模型的优越性.

不平衡数据分类问题的FL逻辑回归算法

针对不平衡数据的分类问题,文章利用焦点损失函数可以挖掘困难样本的特性,提出了一种新的逻辑回归算法。首先,定义逻辑回归模型新的损失函数;其次,基于牛顿迭代法,设计FL逻辑回归算法;最后,在比较实验中,运用随机森林进行特征选择,以阈值优化逻辑回归模型为分类模型进行实验。实验结果表明,与传统逻辑回归算法相比,改进后的算法提高了少数类样本的分类精度,增强了模型的整体分类性能。