基于Focal Loss的多特征融合地物小目标检测

针对无人机影像中地物车辆目标占整体像素不超过0.4%的小目标检测效果差的问题,在融合FPN结构的Faster R-CNN(FFRCNN)网络基础上,提出一种改进算法——FM-FFRCNN。利用Resnet-50网络进行特征提取,并联多个卷积核进行卷积操作实现多特征融合,达到扩大感受野的效果,并通过检测模块进行回归与分类。同时,为解决模型中正负样本不平衡问题,采用Focal Loss损失函数抑制背景样本对损失的贡献值。实验结果表明:FM-FFRCNN模型在平均精度(Average Precision,AP)上较原先模型提升了19.7%。

基于Multi Focal损失函数的中文文本分类研究

为提高文本数据集的情感识别效率,采用深度学习方法,对互联网文本数据集进行情感分类,分别建立基于朴素贝叶斯(Naive Bayesian Classifier,NBC)、卷积神经网络(Convolutional Neural Network,CNN)和长短期记忆网络(Long Short Term Memory,LSTM)的情感识别模型。在二分类Focal损失函数的基础上,提出多分类Multi Focal损失函数MFL。基于搜狐新闻数据集和中美贸易战评论数据集的实验表明:使用多分类损失函数MFL的长短期记忆模型明显优于其它模型。

基于改进U-Net的遥感图像语义分割

全卷积神经网络在遥感图像语义分割中得到了广泛应用,该方法地物分类精度和效率较高,但对地物分布不均匀遥感图像占比较少地物的分类准确率较低。为了提高遥感图像的分类精度,本文通过添加先验知识方法丰富输入数据特征,采用密集链接方式提高上下采样过程中特征的重复利用率,采用可以优化交并比的损失函数Dice Loss和可以提高难分类类别精度的损失函数Focal Loss相加组合作为网络模型的损失函数,采用LayerScale模块加快模型收敛、抑制无用特征、突出有效特征的方式,对U-Net的输入、网络结构、损失函数进行改进,优化语义分割效果。结果表明,基于高分影像数据集(GID)改进的U-Net相较于原始U-Net像素精度、均类像素精度、平均交并比分别提高了0.0233、0.0409、0.0665,提升了地物分类精度,取得了较好的分类效果。

基于改进ConvMixer和动态焦点损失的视听情感识别

视听双模态情感识别是情感计算领域的研究热点.目前情感识别方法存在无法同时提取视频局部和全局特征,多模态数据融合简单,损失函数在模型优化中无法关注错分样本等问题,导致情感识别结果精确度不高.本文提出一种基于改进的ConvMixer和动态权重焦点损失函数的视听情感识别方法.采用空间和时间邻接矩阵代替ConvMixer中的深度分离卷积,提取视频时域空域上的全局和局部特征.提出跨模态时间注意力模块,以对称结构捕捉模态间的时间相关性,提高特征融合效果.结合混淆矩阵计算具有动态权重的焦点损失函数,差异化地加大错分样本在损失中的占比,优化模型参数.在公开数据集上的实验结果表明,本文方法能提取到代表性特征,可有效优化网络结构,提高了情感识别的准确率.

基于改进YOLOX-s的车辆检测方法研究

为缓解车辆小目标漏检及误检问题,提出一种基于YOLOX网络的多尺度特征融合的改进车辆检测模型。设计基于深度可分离卷积的Ghost-CSP(cross stage partial),替换网络的部分跨阶段局部结构,加快检测速度;将模型的最大池化方式改进为Softpool方式,并引入坐标注意力机制,增强待检测目标的特征表达,优化目标漏检问题;选用Focal Loss作为模型置信度损失函数以增加分类不准确样本的权重,提高模型对小目标的预测能力。实验结果表明:改进算法平均准确率提高到74.96%,速度达到73帧/s,在满足实时性要求下可以更好地完成车辆目标检测要求。

基于改进YOLOv7的复杂环境下红花采摘识别

针对光照、遮挡、密集以及样本数量不均衡等复杂环境造成红花机械化采摘识别不准问题,该研究提出一种基于YOLOv7的改进模型,制作红花样本数据集建立真实采摘的复杂环境数据,增加Swin Transformer注意力机制提高模型对各分类样本的检测精准率,改进Focal Loss损失函数提升多分类任务下不均衡样本的识别率。经试验,改进后的模型各类别样本的检测平均准确率达到88.5%,与改进前相比提高了7个百分点,不均衡类别样本平均精度提高了15.9个百分点,与其他模型相比,检测平均准确率与检测速度均大幅提升。改进后的模型可以准确地实现对红花的检测,模型参数量小,识别速度快,适合在红花采摘机械上进行迁移部署,可为红花机械化实时采摘研究提供技术支持。

融合注意力机制的木薯叶病害分类方法

文章针对木薯叶病害图像因病斑区域小,部分疾病特征相似和易受背景干扰而导致识别准确率低的问题,在研究ResNeXt神经网络的基础上,设计了3种方法以提高模型的准确性和鲁棒性:1)增加了一个数据不连续的掩膜层,以缓解神经网络的过拟合问题;2)引入了多头自注意力机制模块,将卷积神经网络和注意力机制结合起来,对图像的局部和全局特征进行分析,提高了相似疾病之间的可分离性;3)使用焦点损失函数缓解木薯叶病害数据集中的类别不平衡问题.仿真实验表明,改进后的算法在木薯叶病害数据集上具有较好的准确率,同时具有较好的泛化能力,适用于其他植物叶片数据集.

改进FCOS的复杂场景口罩佩戴检测算法

针对在复杂场景口罩佩戴检测中存在的多尺度、多角度和遮挡等问题,提出一种基于改进FCOS的复杂场景口罩佩戴检测算法。在算法的骨干网络中引入Res2Net的分组残差连接结构,提高网络对不同尺度口罩的特征提取能力,并在其中集成可变形卷积,拓展其对未知形状物体的建模能力;设计一种集成注意力机制的特征金字塔,为不同的特征通道赋予不同的权重,抑制无用的特征信息;根据目标口罩的相关统计特征自动地划分正负样本,提高不同尺度口罩的样本质量,并引入Generalized Focal Loss联合训练样本的分类分数和定位质量分数,提升算法性能。实验结果表明,在复杂场景下的口罩佩戴检测中,该改进算法的mAP相比于原始FCOS提高6.7个百分点,同时与一些主流的目标检测算法相比,该改进算法也具有更好的效果和鲁棒性。

基于改进RetinaNet的高铁无砟轨道板表面裂缝检测

针对高铁无砟轨道板表面裂缝尺度差异大、裂缝类别不平衡等问题,提出了基于改进RetinaNet的裂缝检测方法。为了缓解下采样与特征金字塔横向连接压缩而导致的细微信息丢失的问题,利用多级特征金字塔融合ResNet-50主干网络中提取的不同层次的深浅特征,实现了图像特征信息的充分表达;为了解决检测过程中表面裂缝的分类和定位置信度之间不匹配的问题,提出自适应锚点学习使锚点与网络模型同时进行优化,提高了对小尺度裂缝的检测精度;为了缓解裂缝类别不平衡对检测性能的影响,引入焦点损失函数(Focal Loss)作为分类损失函数,并在其中添加类平衡权重项因子,提升了对小类别裂缝的检测精度。实验结果表明,改进RetinaNet检测网络对高铁无砟轨道板不同类别的裂缝均获得了较好的效果,平均检测精度(mAP)达到72.58%,较之原始RetinaNet检测网络提高了3.60个百分点,有效实现了对不同尺度裂缝的准确检测。

面向任务型对话机器人的多任务联合模型研究

在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务。目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力。现提出一种Joint-RoBERTa-WWM-of-Theseus压缩联合模型,一方面通过多任务联合学习训练的方式对意图识别、行业识别和语义槽填充3个子任务进行联合训练,并在多分类的子任务中引入Focal loss机制来解决数据分布不平衡的问题;另一方面,模型通过Theseus方法进行压缩,在略微损失精度的前提下,大幅提高模型预测速度,提高模型在生产环境中的实时性与实用性。

基于多尺度特征融合网络的路面裂缝分割方法研究

针对路面缺陷检测设备采集到的路面影像中裂缝像素数占比较小,而现有深度学习的语义分割网络难以分割图像中小目标的问题,本文提出了一种融合了多尺度特征信息的编解码结构语义分割网络模型。首先,在经典编解码结构分割网络U-Net(u-shaped network)的基础上,将编码结构中不同层级的特征图分别与解码结构中的特征图越级融合;其次,在网络的误差反向传播过程中选择适用于小目标物体分割的损失函数Focal Loss;最后,在CrackForest数据集上对本文方法和常用四种模型进行了对比分析。结果表明,改进的U-Net模型在交并比、F1分数两种综合评价指标上的表现均要优于其他模型,且在细小裂缝的分割结果上提升更为明显。这说明本研究能够为路面影像中裂缝分割任务提供技术参考。

使用多尺度递归图和视觉转换器的心律失常分类

心电(ECG)信号反映心脏电生理活动状态,其准确分类对于心脏疾病的自动诊断非常重要,为此,提出一种使用多尺度递归图和视觉转换器的心律失常自动分类方法。首先使用小波变换将心电信号分解为低频分量和若干个高频分量,并采用递归图方法将其分别变换为二维纹理图像;然后针对样本不平衡问题,采用多分类Focal loss替代交叉熵损失函数,对视觉转换器模型进行改进;最后基于心电信号的多尺度递归图表示,使用改进的视觉转换器进行心律失常分类。采用MIT-BIH心律失常数据库中的数据进行实验,所提出的心律失常分类方法的平均准确率为97.38%。实验结果表明,提出的方法能有效识别心律失常类型,且其性能明显优于传统的心律失常自动分类方法。

基于深度学习的复杂作业场景下安全帽识别研究

为有效预防由于个人防护缺失所造成的事故,着力探究复杂作业情况下施工人员安全帽佩戴情况的智能化识别。提出在Faster R-CNN目标检测算法的基础上,针对小目标的安全帽识别问题通过增加锚点提升检测能力,为解决数据集中类别不平衡问题采用Focal loss替代原本的损失函数,为解决安全帽预测区域不匹配问题,引入ROI Align代替ROI Pooling操作中2次量化产生的误差,从而提升检测模型准确性,最后在构建的复杂作业场景下安全帽数据集的基础上进行网络性能评估。结果表明:基于改进后的Faster R-CNN网络框架mAP提高了15%,为智能化管控施工现场个人防护用品佩戴问题提供了有效精准化的识别方法。

基于改进SSD的夜间猪群舒适度监测

针对圈养猪夜间难以监测的问题,提出一种基于改进SSD的夜间猪群舒适度监测方法。首先,在SSD(single shot multibox detector)算法中引入焦点损失函数,解决夜间目标与背景差异小而难以识别的问题;其次,使用soft-NMS算法检测遮挡的猪只目标;再次,通过二次迁移学习方法得到夜间圈养猪目标检测模型;最后,分析猪只位置信息监测夜间猪群舒适度。结果表明,所提方法能精确检测夜间多只猪目标,并对其舒适度进行监测。

基于组序列多分支CNN-LSTM的风机轴承和齿轮箱故障诊断研究

现实工业环境中,单点数据的采集时间通常为几秒甚至更短,现有基于单点数据的风机轴承和齿轮箱故障智能诊断算法难以取得满意结果,为此,提出了一种具有注意力机制的组序列多分支卷积神经网络长短期记忆网络(CNN-LSTM)模型,即GSMBCLAM模型。首先,将具有相同采样间隔的连续多点数据合并成组序列样本,并将组序列波形和频谱同时输入2个不同的一维卷积神经网络(1D-CNN)中,进行了自适应特征提取;其次,采用注意力机制,将提取出来的特征与人工提取的特征进行了特征加权,并将加权后的特征进行了融合,然后将其输入到LSTM中;再次,考虑到故障分类中,不同类别误分类代价不同的问题,采用焦点损失函数代替了传统的交叉熵损失函数;最后,基于SoftMax分类器输出了诊断结果,通过一个包含54000个原始波形、频谱和人工提取特征,区分5类不同的轴承和齿轮故障和1类正常的真实数据集进行了对比实验。研究结果表明:GSMBCLAM方法在准确率、精确率、召回率、F1分数上分别达到了98.40%、98.46%、98.63%、98.30%;其效果优于只基于单点数据或单分支的模型,各项指标对比于其他深度学习竞争模型具有明显优势;焦点损失函数的引入解决了故障诊断中误分类代价不同的问题。

基于优化YOLOv5s的跌倒人物目标检测方法

针对目标检测模型在人物跌倒时易漏检、鲁棒性和泛化能力差等问题,提出一种基于改进YOLOv5s的跌倒人物目标检测方法YOLOv5s-FPD。首先,对Le2i跌倒数据集使用多种方式扩充后用于模型训练,增强模型鲁棒性和泛化能力;其次,使用MobileNetV3作为主干网络来进行特征提取,协调并平衡模型的轻量化和准确性关系;然后,利用BiFPN改善模型多尺度特征融合能力,提高了融合速度和效率,并使用CBAM轻量级注意力机制实现注意力对通道和空间的双重关注,增强了注意力机制对模型准确性地提升效果;最后,引入Focal Loss损失评价从而更注重挖掘困难样本特征,改善正负样本失衡的问题。实验结果表明,在Le2i跌倒数据集上YOLOv5s-FPD模型比原YOLOv5s模型,在精确度、F_(1)分数、检测速度分别提高了2.91%,0.03和8.7 FPS,验证了该方法的有效性。

基于改进MDNet的视频目标跟踪算法

目标跟踪算法面对的突出问题之一是正负样本不均衡,正样本极度相似.针对跟踪更新过程中正样本不丰富的问题,本文基于多域卷积神经网络(MDNet)算法,提出了一种改进MDNet的视频目标跟踪算法,首先改进原算法中候选框的选取策略,提出了一种基于候选框置信度与坐标方差阈值判断相结合的模型更新方法,其次将原算法的交叉熵损失函数改进为效果更好的focal loss损失函数.实验结果表明在相同实验环境下本文算法相较于MDNet算法在跟踪准确率和成功率上均有明显提高.

融合注意力的多尺度Faster RCNN的裂纹检测

电致发光(Electroluminescence,EL)下的光伏电池EL图像背景表现为复杂的非均匀纹理特征,且存在与裂纹相似的晶粒伪缺陷,同时裂纹表现为形状多样的多尺度特征,以上难点为检测任务带来了极大的挑战。因此,本文提出融合注意力的多尺度Faster-RCNN模型,一方面,采用改进的特征金字塔网络获取多尺度的高级语义特征图,以此来提高网络对多尺度裂纹缺陷的特征表达能力。另一方面,采用改进的注意力区域推荐网络A-RPN,提高模型对裂纹缺陷的关注并抑制复杂背景及晶粒伪缺陷的特征。同时,在RPN网络训练过程中,采用损失函数Focal loss,以此来降低训练过程中简单样本所占比重,使其更加关注难以区分的样本。实验结果表明,改进的算法使得EL图像裂纹缺陷检测的准确率提高,达到接近95%。

基于模式引导和焦点损失的对话状态追踪算法

为解决以往对话状态追踪算法只能处理少数对话现象,且没有考虑到这些对话现象在数据集中分布不平衡的问题,提出一种基于模式引导和焦点损失的对话状态追踪算法。利用模式将槽位划分为可分类和不可分类,将用户表达归纳为4种现象(词汇多样性、未知值、值共享和推荐接受),以利于合理地填充对应槽位;使用焦点损失函数保证难样本得到充分训练。在大规模任务型对话数据集MultiWOZ2.2上进行大量消融实验,验证了模型的可行性和算法的有效性。

空基下视多角度红外目标识别

为实现空基下视红外目标的快速高精度识别,提出了一种单阶段的空基下视多角度红外目标识别算法。首先使用Darknet-53结合SPP模块对红外目标进行特征提取,使局部特征与全局特征融合,提高特征图表达能力,最后借鉴RetinaNet中的Focal loss锁定目标的检测框,同时得出目标类型及检测精度。针对现有数据集多为平视,且视角单一的缺陷,使用复合翼无人机分别从不同高度和角度采集红外图像,构建多尺度下视红外目标数据集,在PyTorch架构上实现并进行性能验证实验,所提算法对分辨率为640×512的下视红外图像中目标识别的mAP达到91.74%,识别速度为33 f/s,满足空基平台前端的在线识别需求,且在公开红外船舶数据集上也具有较好的识别结果。实验表明该算法在保证精度的基础上满足实时性的要求,为后续用于复合翼无人机上的多尺度目标实时识别提供了理论技术。