人工神经网络中损失函数的研究

分析了平方差损失函数(Quadratic Cost Function)和交叉熵损失函数(Cross Entropy Cost Function)对人工神经网络收敛性的影响,解释了使用平方差损失函数造成网络训练时间较慢的主要原因,并通过仿真实验验证了交叉熵损失函数可提升网络收敛速度.

图像分类卷积神经网络的反馈损失计算方法改进

当前在图像分类领域,卷积神经网络主要通过反向传播算法训练权重和偏置.在参数的训练过程中,网络的实际输出与样本标签之间的反馈损失计算方式会影响到卷积神经网络对图像的最终分类性能.本文研究发现,当增大训练样本标签的维度,提高不同类别标签间的最小汉明距离,并通过sigmoid激活函数结合交叉熵计算反馈损失时,所得到的卷积网络模型对图像的分类能力优于使用softmax激活函数结合独热编码计算反馈损失所得到的卷积网络模型的分类能力.本文使用多种卷积神经网络结构,并结合多个数据集进行训练和测试,所得到的仿真结果证明了本文观点的正确性.

基于聚焦损失与残差网络的远程监督关系抽取

基于卷积神经网络的远程监督关系抽取方法提取的特征单一,且标准交叉熵损失函数未能较好处理数据集中正负样本比例不均衡的情况。为此,提出一种基于深度残差神经网络的远程监督关系抽取模型,通过改进交叉熵聚焦损失函数,提取句子中的深层语义特征,同时降低损失函数中负样本的权重,避免在NYT-Freebase标准数据集中引入NA关系类别的噪音。实验结果表明,该模型能增强深度残差神经网络对含噪音数据的表示学习能力,有效提高远程监督关系抽取任务的分类准确率。

融合残差连接的图像语义分割方法

由于传统SegNet模型在采样过程中产生了大量信息损失,导致图像语义分割精度较低,为此提出了一种融合残差连接的新型编-解码器网络结构:文中引入了多残差连接策略,更为全面地保留了多尺度图像中包含的大量细节信息,降低还原降采样所带来的信息损失;为进一步加速网络训练的收敛效率,改善样本的不平衡问题,设计了一种带平衡因子的交叉熵损失函数,对正负样本不平衡现象予以针对性的优化,使得模型的训练更加高效;实验表明该方法较好地解决了语义分割中信息损失以及分割不准确的问题,与SegNet相比,本网络在Cityscapes数据集上进行精细标注的mIoU值提高了约13%。

基于CNN-XGBoost模型的多类型棉花叶片病害识别

为提高棉花生产和质量,需要对棉花叶片病害进行及时和准确的识别。然而,现有研究方法往往只能处理少数几种常见的病害类型,而无法覆盖更多的病害种类。本研究提出一种基于CNN-XGBoost模型的多类型棉花叶片病害识别方法,该方法能够识别出21种不同的病害类型,涵盖了细菌、真菌、病毒、营养缺乏等多种因素导致的病害。首先,收集约1.2万张棉花叶片病害图像样本,构建一个包含多种类型病害的数据集,对数据集进行预处理和增强操作,增加数据的多样性和难度;其次,设计一个CNN模型,利用卷积层和池化层提取棉花叶片图像的特征向量,将CNN模型的输出作为XGBoost模型的输入,使用XGBoost模型对特征向量进行分类;最后,采用加权交叉熵损失函数作为优化目标,通过反向传播算法更新CNN模型和XGBoost模型的参数。结果表明,本研究提出的CNN-XGBoost模型在21种类型棉花叶片病害上都能达到高精度的识别,平均准确率达到0.98,远高于其他对比方法,为棉花生产者提供了一个实用和高效的植物病害诊断工具,有助于及时发现和处理棉花叶片病害,从而提高棉花产量。

基于UNet++卷积神经网络的断层识别

针对传统相干体属性和机器学习在复杂断裂识别能力差的问题,提出一种基于UNet++卷积神经网络的断层识别方法。该方法采用加权交叉熵损失函数做目标函数,使网络模型训练过程中避免了数据样本不平衡的问题,引入注意力机制和密集卷积块,以及更多的跳跃连接,更好地实现深层次断层语义信息和浅层次断层空间信息之间的特征融合,进而可以使UNet++网络模型更好地实现断层识别。实验结果表明,该网络模型将F1值提高到了92.38%, loss降低到0.012 0,可以更好地学习断层特征信息。将该模型应用于西南庄断层的识别中,结果表明,该方法可以更准确预测断层位置,在识别连续断层的准确率上有所提高,有效防止了地下噪音对于断层识别的不利影响,从而验证了UNet++网络模型在断层识别上具有一定的研究价值。

电子监控部分遮挡目标单模态自监督信息挖掘技术

针对电子监控视频中受遮挡目标识别难度高的问题,提出一种电子监控部分遮挡目标单模态自监督信息挖掘技术。为了得到目标的状态信息,利用遮挡检测方法判断监控视频中是否存在部分遮挡目标。当监控视频存在部分遮挡目标时,利用减法聚类方法进行特定目标的识别、跟踪或描述,并提供更准确和详细的目标特征信息。在此基础上,将交叉熵损失函数与软间隔三元组损失函数构建的监督遮挡目标特征学习判别损失函数作为部分遮挡目标信息挖掘的目标函数,在每个批次的电子监控样本中,搜寻最小距离的负样本对以及最大距离的正样本对,并通过反向传播优化参数。由此输入电子监控图像样本,通过前向传播输出得到电子监控部分遮挡目标单模态自监督信息挖掘结果。实验结果表明,所提出的技术可以有效挖掘电子监控部分遮挡目标,目标挖掘的mAP值高于0.9,能够为提升监控目标识别精度提供可靠依据。

基于深度学习的通信软件DDoS攻击检测方法

由于不同尺度上的通信软件数据不具有可比性,导致在对DDoS攻击进行检测时,可靠性偏低,为此,提出基于深度学习的通信软件DDoS攻击检测方法研究。将所有的通信软件数据转换为0到1之间的值后,通过计算出所有可能的灰度级组合在单位距离和特定方向上的出现频率构建了通信软件数据灰度共生矩阵,将通信软件数据灰度共生矩阵的均值和方差特征作为基准,利用SHA-256哈希函数将数据转换为二进制编码形式。将重构后的数据输入到包含交叉熵损失函数的CNN网络中,根据更新偏置与通信软件数据灰度共生矩阵特征参数之间的关系,确定DDoS攻击数据。在测试结果中,PPV始终稳定在0.88以上,TPR稳定在0.92以上,具有较高的可靠性。

大数据驱动下基于深度学习的药品信息分布式检索

由于药品信息自身构成较为复杂,导致检索结果的相关性难以得到保障,为此,提出大数据驱动下基于深度学习的药品信息分布式检索研究。通过设计一个针对药品信息特征匹配的神经网络判别器,开展药品信息匹配分析,并引入了交叉熵损失函数,对二分类问题中(判断两个药品是否匹配)的真假进行计算;在分布式遍历检索阶段,为节点分配一个唯一的标识符,并设置相应的访问状态为未访问,通过将“最大遍历节点数”作为变量,对检索的遍历过程中进行动态更新,在先进先出原则下,当所有节点都被访问过,并且没有新的药品信息被检索到时,遍历过程结束,输出与目标检索信息拟合度最高的TOP-N药品信息队列。在测试结果中,检索结果的相关性始终在0.90以上,最大值为0.947。

基于CNN-Attention-BP的降水发生预测研究

在综合分析降水统计预测模型特点的基础上,提出一种基于Attention机制、卷积神经网络(CNN)和BP神经网络的CNN-Attention-BP组合模型,并对1961—2020年不同气候类型的长春站、白城站、延吉站夏季降水进行实证分析.首先,运用卷积神经网络对6—8月20—次日20时降水量、平均气压、平均风速、平均气温和平均相对湿度进行特征学习,利用Attention机制来确定气象影响因素对降水预测的权重;然后,使用BP神经网络进行降水发生预测,选用准确率、交叉熵损失函数和F1-score来综合评价CNN-Attention-BP组合模型的性能.最后,将单一的支持向量机、多层感知机和卷积神经网络模型与组合模型进行比较分析.结果表明,CNN-Attention-BP组合模型具有自主学习和关注更重要信息的特征,能够有效提高吉林省夏季降水发生模型的预测能力,在样本越均衡、降水频率越接近于0.5的站点,预测精度越高,准确率最高可达88.4%.CNN-Attention-BP组合模型的准确率相较于其他单一模型最高可以提高近17个百分点.

面向街景自动驾驶的DSC-MB-PSPNet语义分割技术研究

文章给出一种面向城市自动驾驶的轻量级可实时运行的语义分割模型;提出一种深度可分离卷积、多分支、金字塔池化尺度融合结构(简称DSC-MB-PSPNet),在保证了模型具有良好的表征能力的同时,可以做到实时运行;提出抑制性交叉熵损失函数以降低样本不平衡的影响,消除城市自动驾驶中各种类样本之间像素数量严重不均衡的问题,同时加入了多级损失函数计算方式,提升了训练的效率,使得模型更容易收敛。在公开数据集Cityscapes及自搭建的数据集上进行训练,结果表明,在大分辨率输入的情况下,文章所提模型的精度在指标评测中居于前列,同时可以做到实时运行。

一种基于类不平衡学习的情感分析方法

针对网络评论中普遍存在的负面评论较少而影响力却较大的类不平衡问题,提出一种基于类不平衡学习的情感分析方法.该方法利用深度学习训练过程中的概率输出,以计算样例的信息熵作为影响因子构建交叉信息熵损失函数.在IMDB公开数据集上进行实验验证的结果表明,基于集成信息熵损失函数的双向长短期记忆网络能处理类不平衡问题;对数据的统计分析结果表明,该策略能提升基于双向长短期记忆网络的评论情感极性分类性能.针对AUC(area under curve)指标,使用集成信息熵损失函数的双向长短期记忆网络模型比未考虑类不平衡的深度学习模型在中位数上最多提升15.3%.

基于改进YOLOv2模型的驾驶辅助系统实时行人检测

为解决驾驶辅助系统(ADAS)对复杂背景行人和小尺寸行人检测精度较低的问题,基于深度神经网络模型YOLOv2建立了ADAS实时行人检测模型YOLOv2-P。首先在特征提取网络中采用参数化修正线性单元激活函数,以从训练数据中自适应地学习参数,并在行人检测网络中采用多层特征图融合方法,将低层特征图信息与高层特征图信息进行融合;然后使用交叉熵损失函数替代YOLOv2模型中的sigmoid激活函数,并对宽度、高度损失函数进行归一化处理;最后采用迭代自组织数据分析算法对行人数据集中行人边界框尺寸进行聚类。试验结果表明:相比于YOLOv2,YOLOv2-P对复杂背景行人及小尺寸行人的检测精度有明显提升,能够满足ADAS行人检测准确性和实时性需要。

基于ILF-YOLOv3的人员在岗状态检测算法研究

为了解决员工在岗状态的实时监测和管理问题,提出了一种改进YOLOv3的目标检测算法,ILF-YOLOv3(Improve Loss and Feature-YOLOv3).首先,使用二分交叉熵损失函数和添加制衡权重参数的方式对YOLOv3算法的损失函数进行改进;然后,增加了模型多尺度特征检测模块的特征融合密度;最后,针对采样数据集单一性的问题,采用生成式对抗网络对其进行定向增强。实验结果表明,改进后的算法在自制的StaffSData-Strong数据集上mAP值提高了7.9%,召回率提高了14%.

复杂环境背景下绝缘子缺陷图像检测方法研究

针对处于复杂的环境背景下的电力绝缘子以及绝缘子缺陷的检测存在检测精度低、检测速度不高的实际问题,提出了一种改进YOLOv4(you only look once v4)算法的电力绝缘子图像以及存在缺陷的绝缘子检测的方法。通过制作电力绝缘子以及绝缘子存在缺陷的数据集,使用K-均值聚类(K-means)算法对电力绝缘子图像样本进行聚类,获得不同大小的先验框参数;然后通过改进平衡交叉熵(balanced cross entropy,BCE)引入一个权重系数,来增加损失函数的贡献程度;最后,通过增加空间金字塔池化结构(spatial pyramid pooling,SPP)前后的卷积层来加深网络的深度。实验结果表明,改进模型的单张检测时间为3.27 s,对于绝缘子缺陷平均检测精度比原始的YOLOv4算法提升了24.36%。同时通过改进后的YOLOv4算法在测试集上的平均精度均值(mean average precision,mAP)的值为84.05%,比原始的YOLOv4算法提升了17.83%,充分说明了能够很好的定位和识别电力绝缘子图像存在的缺陷。

基于残差结构的SSD口罩检测

新冠疫情环境下,人们外出均需佩戴口罩进行防护,所以目前对人脸口罩检测的研究迫在眉睫。该文提出一种基于残差结构的SSD(single shot multbox detector)网络用于口罩检测,通过在SSD网络的定位分类前添加残差结构,将特征提取网络和分类定位层进行分离,进而使得进入分类定位层的卷积特征更加抽象,可以有效解决SSD网络同时学习局部信息和高层信息双重任务的问题,维护特征提取网络的稳定性,并利用交叉熵损失函数解决戴口罩和未戴口罩的二分类问题,利用smooth L1 loss损失函数解决口罩位置的回归问题。然后将分类和位置回归做加权计算,通过优化传统的SSD位置误差和置信度误差损失函数,实现人脸佩戴口罩特征和人脸未戴口罩特征的定位和分类,从而提高网络训练速度及检测效率。实验结果表明,ReSSD检测口罩的平均检测精度可达92.3%,比SSD网络提高了7.4%,同时在自然场景下也有高效的检测效果。

基于图神经网络的不平衡欺诈检测研究

现阶段图神经网络被广泛应用于欺诈检测,由于欺诈检测中往往存在类不平衡问题,导致基于图神经网络模型性能不佳。针对上述问题,设计一种基于图神经网络的不平衡欺诈检测模型。该模型细化了图结构数据中存在的邻域不平衡和中心不平衡两个不平衡的概念。在邻域不平衡中,通过多层感知机和高斯核函数衡量中心节点与其邻域节点的非欧氏空间距离(相似度),基于马尔可夫决策动态更新采样阈值对邻域节点进行多层自适应欠采样,并在每一层中仅聚合其原始特征和前一层的隐藏嵌入得到中心节点的目标嵌入;在中心不平衡中,引入加权交叉熵损失函数为每个中心节点的损失设置动态权重以达到中心平衡。在Yelp和Amazon两个数据集上的实验结果表明,该模型的曲线下面积(AUC)、召回率(Recall)两个指标相较于最优基准模型均有显著提升,在两个数据集上的AUC和Recall分别提升了5.52%、5.42%和1.57%、4.31%。

基于多任务学习的跨年龄人脸识别

为了解决年龄因素影响下的人脸识别问题,设计了一种多任务学习模型,用以进行年龄干扰下的人脸识别.通过卷积神经网络对人脸图像进行全面的特征提取,作为多任务学习的主干部分;使用特征分解模块提取出具有年龄相关信息的掩码层,从而从混杂的人脸特征中分离出年龄信息和身份信息;通过交叉熵损失函数和Arcface函数分别对年龄特征和身份特征进行约束.提出的网络对年龄干扰下的人脸特征具有较好的识别能力.

融合双重注意力机制的戴口罩人脸识别方法

针对现有人脸识别模型无法从戴口罩人脸中有效提取区域特征问题,提出融合双重注意力机制的戴口罩人脸识别模型。首先将自建的戴口罩人脸图像作为输入数据,以ResNet50为基准网络,向残差块中引入协调注意力与分割注意力机制。其中协调注意力用于减少口罩区域特征提取,降低口罩区域特征干扰;分割注意力用于细粒度提取非口罩区域特征,从关键部位提取更多特征。然后使用ArcFace分类函数优化分类边界,再结合交叉熵损失函数作为约束,实现戴口罩人脸精细识别。实验结果表明,本文模型在测试集取得95.2%的识别准确率,与ResNet50、AttentionNet模型相比,识别准确率分别提高1个百分点、1.5个百分点。

基于改进FCN双路径特征融合的局部放电图谱识别

针对电力设备局部放电图谱的识别问题,提出一种改进交叉熵损失函数的双路径全卷积神经网络模型。使用局放图谱作为模型输入,采用双路径的方式,两路使用不同大小卷积核分别提取图谱较深层和较浅层特征,然后进行特征融合。使用卷积层代替全连接层,更多保留局放特征间的空间关联性。改进的交叉熵损失函数可以使模型更适用于数据集样本不均衡的情况。实验结果表明,改进FCN双路径特征融合识别方法准确率达到99.31%,可以准确识别局放图谱,且模型参数量更小。