基于Focal Loss改进LightGBM的供水管网毛刺数据检测

针对数据不平衡导致的管网毛刺数据检测召回率偏低问题,提出一种Focal Loss改进LightGBM的管网毛刺数据检测方法。首先,结合管网毛刺数据的特点,针对性构造邻域相关特征。其次,将Focal Loss函数引入LightGBM,提高模型对难以检测的毛刺样本的权重,并对Focal Loss不同的参数取值进行实验,以平衡精确率与召回率。最后,选择不同参数的Focal Loss进行模型融合,进一步提升模型对不平衡毛刺数据的检测性能。在某市供水管网的真实数据上进行实验,结果表明,对比基于交叉熵损失函数的单一模型,本文提出的Focal Loss改进后的融合模型在毛刺数据上召回率和F1值的提升幅度达33.3和18个百分点,但毛刺数据的精确率还有待进一步提升。本文所提方法从损失函数入手,动态调整难易样本的权重,有效地提升了不平衡数据下的毛刺数据的检测性能。

融合Focal Loss与典型卷积神经网络结构的水稻病害图像分类

快速高效地识别水稻病害的种类并及时采取有效的防治措施对避免水稻减产具有重要意义,为解决人工识别水稻病害效率低、识别精度不高、深度学习样本不平衡导致识别准确率不高等问题,融合Focal Loss与4种典型卷积神经网络结构对7种水稻病害进行分类识别。利用TensorFlow的Keras深度学习框架搭建卷积神经网络的图像识别分类系统,使用Focal Loss损失函数解决数据集不平衡导致识别准确率低的问题,采用ResNet50、ResNet101、MobileNetV2、VGG16作为特征提取骨干,对7种水稻病害进行识别。通过imgaug库增强数据,将13543张水稻病害图像按照9∶1的比例划分为训练集和验证集并参与训练模型,将1404张水稻病害图像作为测试集来验证模型的准确性。结果表明,所搭建的数据集中ResNet50、ResNet101、MobileNetV2、VGG16的识别准确率分别为98.06%、94.26%、92.47%、97.83%。可见,在融合Focal Loss损失函数的情况下,ResNet50作为特征提取骨干训练出的模型在水稻病害图像分类中拥有最高的准确率,该成果可在实际生产中实现水稻病害的自动分类识别,有助于水稻病害的防治工作。

基于LightGBM和DNNFL的陷落柱识别方法研究与应用

为了解决不平衡地震属性数据集中陷落柱识别准确率较低的问题,提出了一种基于轻梯度提升机(Light Gradient Boosting Machine,LightGBM)和利用焦点损失(Focal Loss)改进深度神经网络(Deep Neural Networks,DNN)相结合的陷落柱识别方法LightGBM-DNNF。首先通过相关性分析和重要性分析进行属性优选;其次提取LightGBM叶子节点的路径作为新的特征,并与原始数据集组合成新的数据集;最后输入到DNNFL模型中进行分类训练,预测地质构造类型。引入精确率(P)、召回率(R)、F1分数(F_(1-score))、曲线下面积(A_(UC))作为评价指标,基于3个矿区的数据集开展对比实验和消融实验。实验结果表明,与传统的机器学习和单一的集成学习算法相比,LightGBM-DNNFL模型的F_(1-score)和A_(UC)值均在93%以上,能有效识别陷落柱,且模型泛化能力更强。

基于RF-FL-LightGBM算法的信用风险评估模型研究

为了解决大数据环境下高维度稀疏的客户信用特征以及样本不平衡问题,从而提高客户的信用评估准确度,论文提出了基于RF-FL-LightGBM算法的信用风险评估模型。首先利用随机森林(RF)对高维数据进行重要性排序和筛选,剔除容易引起模型过度拟合和冗余无效的特征;其次将基于Focal Loss函数改进后的二分类平衡交叉嫡损失函数(FL)作为LightGBM模型的损失函数,以此改善正负样本不平衡导致模型准确度降低的情况,从而提高模型的分类性能。使用某金融租赁公司的历史客户数据集进行实验,结果表明,RF-FL-LightGBM模型的F1值、AUC值都明显高于XGBoost和LigthGBM模型。RF-FL-LightGBM算法不仅有效处理了高维稀疏不平衡样本数据,还提高了客户属性的分类精确度且执行效率更高。

一种改进的Focal Loss在语义分割上的应用

传统基于深度学习的语义分割方法使用的损失函数为交叉熵,而交叉熵并不能解决训练数据中的样本非均衡性问题。语义分割任务属于像素级分类,样本的非均衡性问题在其中体现得十分突出。文章提出了一种改进的Focal Loss作为损失函数来自动解决训练样本的非均衡性。该损失函数等同于在标准交叉熵上加上一个权重,该权重能够自动增加困难样本的交叉熵损失值,同时保持简单样本的交叉熵损失值。将Focal Loss作为DeepLabv3+的损失函数,并将DeepLabv3+的Backbone替换为ResNet-18,再使用Cityscapes数据集作为训练样本,分别使用交叉熵和Focal Loss作为损失函数来对模型进行训练。实验结果表明,改进的Focal Loss损失函数相比于交叉熵获得的语义分割精度更高,且能够有效缓解训练样本的非均衡性问题。

基于边界自适应SMOTE和Focal Loss函数改进LightGBM的信用风险预测模型

针对信用风险评估中数据集不平衡影响模型预测效果的问题,提出一种基于边界自适应合成少数类过采样方法(BA-SMOTE)和利用FocalLoss函数改进LightGBM损失函数的算法(FLLightGBM)相结合的信用风险预测模型。首先,在边界合成少数类过采样(Borderline-SMOTE)的基础上,引入自适应思想和新的插值方式,使每个处于边界的少数类样本生成不同数量的新样本,并且新样本的位置更靠近原少数类样本,以此来平衡数据集;其次,利用FocalLoss函数来改进LightGBM算法的损失函数,并以改进的算法训练新的数据集以得到最终结合BA-SMOTE方法和FLLightGBM算法建立的BA-SMOTE-FLLightGBM模型;最后,在LendingClub数据集上进行信用风险预测。实验结果表明,与其他不平衡分类算法RUSBoost、CUSBoost、KSMOTE-AdaBoost和AK-SMOTE-Catboost相比,所建立的模型在G-mean和AUC两个指标上都有明显的提升,提升了9.0%~31.3%和5.0%~14.1%。以上结果验证了所提出的模型在信用风险评估中具有更好的违约预测效果。

融合GIoU和Focal loss的YOLOv3目标检测算法

YOLOv3目标检测算法检测速度快且精度较高,但存在对小目标检测能力不足、边界框定位不准确等问题。提出了一种基于YOLOv3改进的目标检测算法,该算法在YOLOv3的基础上,对网络中的残差块增加旁路连接,进一步进行特征重用,以提取更多的特征信息。同时,采用GIoUloss作为边界框的损失,使网络朝着预测框与真实框重叠度较高的方向去优化。在损失函数中加入Focal loss,减小正负样本不平衡带来的误差。在PASCAL VOC和COCO数据集上的实验结果表明,该算法能够在不影响YOLOv3算法实时性的前提下,提高目标检测的mAP。该算法在PASCAL VOC 2007测试集上达到83.7mAP(IoU=0.5),在COCO测试集上比YOLOv3算法提升2.27mAP(IoU[0.5,0.95])。

结合改进VGGNet和Focal Loss的人脸表情识别

针对目前表情识别准确率偏低,表情数据集中类别样本类间差异小、类内差异大以及误标注样本产生的误分类等问题,提出了一种结合改进VGGNet和Focal Loss的人脸表情识别算法。在迁移学习的基础上,通过设计新的输出模块对VGGNet模型进行改进,提升了模型的特征提取能力,能够较好地避免过拟合现象;通过设置概率阈值对Focal Loss进行改进,避免误标注样本对模型分类性能产生影响。实验结果表明,该模型在CK+、JAFFE以及FER2013数据集上的识别准确率分别达到了99.68%、97.61%和72.49%,在实际应用中泛化能力突出。

基于空洞卷积和Focal Loss的改进YOLOv3算法

为了进一步提升YOLOv3的小目标检测能力,文中提出将Darknet-53中的第2个残差块输出的特征图用混合空洞卷积处理后,与YOLOv3的8倍下采样特征图相融合,建立新的检测特征;同时,使用Focal Loss改进损失函数中的负样本置信度公式,缓解YOLOv3的正负样本比例失衡问题。实验结果表明,在小目标数量占比为47.7%的特定测试集上,改进YOLOv3的平均准确率和召回率分别比原YOLOv3提高了8.8%和16%;在VOC测试集上,改进YOLOv3的平均精度均值比原YOLOv3提升了3.4%。

基于Focal Loss改进的GBDT模型对天津强对流灾害的预报

强对流灾害是气象研究的重点,不准确的强对流灾害天气预报往往给人们的安全以及社会经济造成影响。该文利用天津2006-2018年的地面气象观测站点的地面物理场数据,筛选出强对流灾害性天气过程,对天津强对流灾害天气进行研究。首先对地面站点获取的数据通过主成分分析方法进行降维,然后构建基于Focal Loss改进的GBDT模型,最后通过五折交叉验证的方式进行训练与测试。结果表明,该模型对强对流灾害天气预报的命中率、误警率和临界成功指数上都有较好的表现,可为天津强对流天气的预报提供有效的依据。

基于Focal Loss和卷积神经网络的入侵检测

入侵检测是信息安全防护领域中的一个重要环节。随着网络技术的发展,主动防御网络入侵变得越来越重要,同时入侵数据变得更加海量、复杂和不平衡,这导致传统的入侵检测技术的检测性能比较低,因此如何提高入侵检测系统的性能对于不平衡数据集的检测性能是一项巨大的挑战。传统的CNN模型对于处理复杂的数据具有很好的性能,但是在处理不平衡数据集上的效果不是很好。为了解决这个问题,提出一种基于Focal Loss和卷积神经网络的入侵检测方法。与传统的卷积神经网络不同,该模型利用Focal Loss损失函数来解决数据不平衡问题,并在卷积层加入正则化方法(DropBlock)用来提高模型的泛化能力。采用KDD 99数据集进行的实验表明,该模型入侵检测的准确率和精确率比传统的入侵检测模型有所提高。

基于Focal Loss的多特征融合地物小目标检测

针对无人机影像中地物车辆目标占整体像素不超过0.4%的小目标检测效果差的问题,在融合FPN结构的Faster R-CNN(FFRCNN)网络基础上,提出一种改进算法——FM-FFRCNN。利用Resnet-50网络进行特征提取,并联多个卷积核进行卷积操作实现多特征融合,达到扩大感受野的效果,并通过检测模块进行回归与分类。同时,为解决模型中正负样本不平衡问题,采用Focal Loss损失函数抑制背景样本对损失的贡献值。实验结果表明:FM-FFRCNN模型在平均精度(Average Precision,AP)上较原先模型提升了19.7%。

一种结合Focal Loss的不平衡数据集提升树分类算法

针对不平衡数据集分类问题中存在的难易样本不平衡问题,提出在提升树算法的基础上结合Focal Loss的不平衡数据集分类算法。分别在HTRU3、Yeast3、Test的不平衡数据集上对该算法与Borderline-SMOTE结合梯度提升树算法进行比较。实验结果表明,在HTRU2数据集上,该算法F1-score最高为0.970,而Borderline-SMOTE结合梯度提升树算法为0.972,虽然分类性能没有得到明显提升,但该算法仅需13次迭代便可收敛,而传统梯度提升树算法则需20次以上迭代才能收敛。在提升树模型中引入Focal Loss损失函数可有效提升模型收敛速度,且在一定程度上保持了模型分类性能。

基于Focal Loss-2函数的中文短文本情感分类研究

利用深度学习中的卷积神经网络CNN和长短期记忆人工神经网络LSTM两种方法,结合word2vec词向量工具,对互联网中文短文本平衡数据集进行情感分类,并与传统的机器学习方法进行比较,得到最优的模型。在不平衡数据集上,提出了基于Focal Loss函数改进的二分类平衡交叉熵损失函数Focal Loss-2。实验表明:深度学习算法LSTM-word2vec模型分类准确率最高,达到93.13%;CNN-word2vec模型的训练时间最短,每轮用时27 s;在正类样本少时,Focal Loss-2函数比常用的交叉熵函数正类的模型评价F_1值提高了4%左右。统计检验表明:基于Focal Loss-2函数改进的模型在不平衡数据集上的分类性能显著优于以前的模型。

不平衡数据分类问题的FL逻辑回归算法

针对不平衡数据的分类问题,文章利用焦点损失函数可以挖掘困难样本的特性,提出了一种新的逻辑回归算法。首先,定义逻辑回归模型新的损失函数;其次,基于牛顿迭代法,设计FL逻辑回归算法;最后,在比较实验中,运用随机森林进行特征选择,以阈值优化逻辑回归模型为分类模型进行实验。实验结果表明,与传统逻辑回归算法相比,改进后的算法提高了少数类样本的分类精度,增强了模型的整体分类性能。

Deep Learning with a Novel Concoction Loss Function for Identification of Ophthalmic Disease

As ocular computer-aided diagnostic(CAD)tools become more widely accessible,many researchers are developing deep learning(DL)methods to aid in ocular disease(OHD)diagnosis.Common eye diseases like cataracts(CATR),glaucoma(GLU),and age-related macular degeneration(AMD)are the focus of this study,which uses DL to examine their identification.Data imbalance and outliers are widespread in fundus images,which can make it difficult to apply manyDL algorithms to accomplish this analytical assignment.The creation of efficient and reliable DL algorithms is seen to be the key to further enhancing detection performance.Using the analysis of images of the color of the retinal fundus,this study offers a DL model that is combined with a one-of-a-kind concoction loss function(CLF)for the automated identification of OHD.This study presents a combination of focal loss(FL)and correntropy-induced loss functions(CILF)in the proposed DL model to improve the recognition performance of classifiers for biomedical data.This is done because of the good generalization and robustness of these two types of losses in addressing complex datasets with class imbalance and outliers.The classification performance of the DL model with our proposed loss function is compared to that of the baseline models using accuracy(ACU),recall(REC),specificity(SPF),Kappa,and area under the receiver operating characteristic curve(AUC)as the evaluation metrics.The testing shows that the method is reliable and efficient.

基于优化Focal-XGBoost的变压器状态声振识别模型

受数据样本难以区分和数据平衡性不佳影响,采用声振信号的变压器状态识别模型往往准确率低下。针对这一问题,引入了Focal损失,根据样本训练过程的准确度动态反馈权重,从而构成了Focal-XGBoost优化模型。先通过一组贴合变压器频谱的滤波器充分提取声振信号有效信息,再作XGBoost-PCA筛选降低样本维度。然后采用Focal损失优化原模型中的Softmax目标函数形成Focal-XGBoost模型,并在输入上述样本后根据准确率波动作Focal的超参数优化,进而输出变压器状态识别结果。10 kV和110 kV变压器的试验结果表明,相较传统SVM、KNN等学习模型,Focal-XGBoost减少了XGBoost测试样本中难分样本的误分量44.7%,从而使模型识别准确率更高;此外,非均匀提取在平均精度损失低于0.5%的基础上压缩50%样本空间,进一步降低了模型训练成本。

基于自适应空间特征增强的多视图深度估计

为了提高多视图深度估计结果精度,提出一种基于自适应空间特征增强的多视图深度估计算法。设计了由改进后的特征金字塔网络(feature pyramid network,FPN)和自适应空间特征增强(adaptive space feature enhancement,ASFE)组成的多尺度特征提取模块,获取到具有全局上下文信息和位置信息的多尺度特征图像。通过残差学习网络对深度图进行优化,防止多次卷积操作出现重建边缘模糊的问题。通过分类的思想构建focal loss函数增强网络模型的判断能力。由实验结果可知,该算法在DTU(technical university of denmark)数据集上和CasMVSNet(Cascade MVSNet)算法相比,在整体精度误差、运行时间、显存资源占用上分别降低了14.08%、72.15%、4.62%。在Tanks and Temples数据集整体评价指标Mean上该模型优于其他算法,证明提出的基于自适应空间特征增强的多视图深度估计算法的有效性。

一种轻量型果园环境果实检测方法

果园环境下柑橘的快速准确检测是自主采摘机器人作业的关键.针对现有的模型过于冗余、检测速度与精度不平衡等问题,提出一种轻量型果园环境果实检测方法.在YOLOv4算法的基础上引入焦点损失函数(Focal Loss)来提高模型在二分类检测任务中的负样本挖掘能力,并针对模型参数冗余等问题提出一种优化的模型剪枝方法.试验结果表明:提出的方法在果园环境中柑橘果实数据集检测得到的平均精度均值(mean average precision,M_(AP))达到94.22%,相较于YOLOv4模型提高了1.18%,模型参数减小了95.22%,模型尺寸为原来的4.84%,检测速度为原来的4.03倍.

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。