基于神经网络语言模型的动态层序Softmax训练算法

针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB^1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.

基于灰狼算法的配电网短路故障自动监测系统

针对接地短路故障中识别率较低、抗干扰性较大的问题,该文提出短路故障自动化监测系统。通过集成经验模态对零序电流做出分解,提取相应的本证模态分量,构建特征向量。结合灰狼算法对门控神经网络优化,加入相应的softmax分类优化,构建接地短路故障的自动化监测系统。经过实际算例验证,改进系统能够更稳定地进行故障识别,具有更高的准确率以及抗干扰性能。

多级卷积神经网络的沥青路面裂缝图像层次化筛选

如何快速准确地识别与评估沥青路面裂缝病害,已成为路面养护和保障道路安全的重要任务之一。实际采集路面图像中往往存在大量的非裂缝图像,在保证裂缝图像无漏筛的前提下,尽可能提高裂缝图像的精确率与非裂缝图像的真负例率,则对于降低人工筛选的工作强度,以及后续裂缝自动分割与病害损坏程度评估具有重要实际意义。故此,提出了一种多级卷积神经网络的沥青路面裂缝图像筛选方法,由训练、微调与验证三阶段构成,利用微调集获得softmax层输入微调增量。为避免裂缝图像召回率增加与精确率下降的问题,在对比不同卷积神经网络筛除的非裂缝图像异同基础上,采用改进AlexNet作为一级筛选网络,VGG16或ResNet50作为二、三级筛选网络的层次化处理模型。对于含噪声及复杂路面图像测试集的实验结果表明,三级层次化筛选模型能在100%召回裂缝图像时,达到高的真负例率及准确率。与其他方法的对比实验表明,所提方法可有效解决沥青路面裂缝图像漏筛问题,且具有更好的检测效果。

基于堆栈稀疏自编码器的滚动轴承故障诊断

针对提取有效滚动轴承特征和消除特征之间的冗余,提出一种基于堆栈稀疏自编码器和Softmax层构建的深度神经网络(DNN)用于轴承故障诊断。首先从振动信号提取12个统计特征和6个时频域特征,然后将获得的特征用于构建18维特征向量;高维特征向量通过堆栈稀疏自编码器逐层贪婪学习获得无冗余的高级特征;最后将高级特征输入Softmax分类层进行轴承故障诊断。实验结果表明:相比于传统BP和SVM分类器,DNN能更准确地识别滚动轴承故障类型。