基于拉德马赫方法的Dropout算法在半监督分类应用

深度学习需要用到大量有标签的数据,即使在大数据时代,能用的有标签数据也不多,从而需要将深度学习与半监督学习结合起来。目前,全连接层已被证实,在迁移学习中可以起到很好的作用。在迁移学习的背景下,针对半监督分类问题,笔者基于marginGAN生成对抗网络使用了基于Dropout算法的全连接神经网络作为分类器,分类器的损失函数增加了拉德马赫正则项,验证了拉德马赫在半监督分类任务中的有效性。

基于Bi-LSTM-Dropout的蓄电池剩余使用寿命预测方法

蓄电池剩余使用寿命预测对能源的安全性和可持续发展至关重要。该文提出一种蓄电池剩余使用寿命的预测方法,利用蓄电池的历史运行数据和充放电周期,构建Bi-LSTM-Dropout网络模型。利用Bi-LSTM提取时间序列中蓄电池长期依赖的特征,采用Dropout优化算法降低Bi-LSTM网络模型的复杂度,提高模型的泛化能力。实验结果表明,该方法在测试集上的准确率达96.2%,实现了蓄电池剩余使用寿命的精确预测。

分段卷积神经网络在文本情感分析中的应用

文本情感分析是当前网络舆情分析、产品评价、数据挖掘等领域的重要任务。由于当前网络数据的急剧增长,依靠人工设计特征或者传统的自然语言处理语法分析工具等进行分析,不但准确率不高而且费时费力。而传统的卷积神经网络模型均未考虑句子的结构信息,并且在训练时很容易发生过拟合。针对这两方面的不足,使用基于深度学习的卷积神经网络模型分析文本的情感倾向,采用分段池化的策略将句子结构考虑进来,分段提取句子不同结构的主要特征;并且引入Dropout算法以避免模型的过拟合和提升泛化能力。实验结果表明,分段池化策略和Dropout算法均有助于提升模型的性能,所提方法在中文酒店评价数据集上达到了91%的分类准确率,在斯坦福英文情感树库数据集五分类任务上达到了45.9%的准确率,较基线模型都有显著的提升。

结合产品特征的评论情感分类模型

结合不同产品的评论词信息来构建智能化的情感分类器,提出一种结合产品特征的在线商品评论情感分类模型PWCNN(Product Weight Convolution Neural Network)。模型首先进行产品词特征的词向量训练,将评论文本以及产品信息进行向量乘法组合,结果作为模型输入。然后根据句子的重要性,采用池化加权的卷积神经网络来学习评论的文档级表示。为了防止过拟合且提高泛化能力,在输出层采用dropout策略。实验结果表明,PWCNN模型在平均准确率和F1值等指标上取得最好结果,且提高了模型训练速度。

基于多域特征的扰动辨识方法研究

扰动波形的辨识是基于扰动开展特征提取和信息挖掘等研究工作的前提,而噪声、扰动间干扰以及特征提取方法的影响,都有可能导致针对不同扰动提取出的同一域下典型特征间边缘重叠,进而影响扰动辨识的准确性。提出一种利用多域典型特征来识别扰动类型的辨识方法。首先,利用多域特征样本和单域特征样本先后训练神经网络,进而结合DS证据理论融合各域输出以建立面向多域特征的辨识算法。其次,在对三种因素影响下的单域特征开展分析的基础上,对所提出的辨识算法与各种传统的基于单域特征辨识算法的正确率进行对比,以论证所提出辨识算法的有效性。该方法克服了待辨识扰动单域下异常特征对辨识精度的影响,受噪声影响小,算法稳定性好。

基于改进SAE的提升机制动系统故障诊断

为了减少传统故障诊断方法人工主观干预对诊断结果的影响,使用无监督学习方式提取提升机监测数据的故障特征,提出了一种基于稀疏自编码器的故障诊断方法.首先分析了制动系统的故障机理,采集了提升机正常运行和故障模拟状态下的监测数据,生成了故障诊断数据集;然后建立了SAE故障诊断模型,并使用Dropout和Adam算法对其进行了优化;最后使用测试数据集对模型的性能进行了测试.试验结果表明,提出的方法较好地避免了稀疏数据的训练误差,减少了过拟合现象,降低了稀疏数据局部最优点的影响,故障类型的平均分类精度达到94%,能有效地进行矿井提升机的故障诊断.

基于分段多池卷积神经网络的情感分析

目前,深度学习在文本识别方面已经达到了相当高的准确率,但是在文本的情感识别方面还未达到理想的效果。针对传统卷积神经网络在词向量构建和卷积池化部分的一些不足,提出了一种新的情感模型——基于分段多池卷积神经网络(piecewise multi-pooling convolution neural network,PMPCNN)模型。该模型分别从情感词向量的构造、卷积层、池化层和应用Dropout算法防止模型过拟合等多方面入手进行改进。大量的对比试验数据表明,相比传统卷积神经网络,该模型具有更为良好的实验效果和准确率。

卷积神经网络在中文问题分类中的应用

问答系统是自然语言处理领域一个非常热门的研究方向,问题分类是问答系统非常重要的环节。传统问题分类需要人工制定特征提取策略并不断优化特征规则,该方法准确率不高且费时费力。传统卷积神经网络模型先通过卷积核提取能表示问句特征的向量,再经过max-pooling后得到一个特征值,并未考虑句子的结构信息,在训练时容易发生过拟合。针对上述问题,采用分段池化操作,引入句子结构信息,在不同分段上提取句子的主要特征并加入Dropout算法,提高模型的泛化能力,防止模型过拟合。实验结果表明,该方法能提高模型准确率,在TREC 6分类问题数据集上准确率高达89.2%,在银行57分类数据集上准确率也达到了64.5%。

基于改进LeNet-5网络的数字电表识别

目前在水下等特殊应用场景的电表识别研究中,虽然LeNet-5网络表现良好,但仍存在泛化能力不足、鲁棒性较差等问题。为此,文章基于改进LeNet-5网络的数字电表识别方法,通过增加激活离群值去除,利用dropout算法和ReLU激活函数增强神经网络泛化能力与鲁棒性。实验结果表明:改进的LeNet-5网络模型在学习速率为0.1%和迭代次数为600次时,网络精度达到99.42%。该方法具有较强的运算能力和较高的网络识别精度,可满足水下数字电表识别需求。