基于混合maxout单元的卷积神经网络性能优化

针对深度卷积神经网络中maxout单元非最大特征无法传递、特征图像子空间池化表达能力不足的局限性,提出混合maxout(mixout,mixed maxout)单元。首先,计算相同输入在不同卷积变换下所形成的特征图像子空间的指数概率分布;其次,根据概率分布计算特征图像子空间的期望;最后,利用伯努利分布对子空间的最大值与期望值加权,均衡单元模型。分别构建基于mixout单元的简单模型和网中网模型进行实验,结果表明mixout单元模型性能较好。

MaxOut起死回生

通过聚焦于年轻客户,一个健身连锁品牌找到了新的立足点。

基于深度学习的学生学习情感模型建立与分析

传统的情感模型仅仅关注学生学习表情与对应的学习情感之间的关系,而忽略了不同学习情感之间的关系,因而导致学生学习表情识别准确率相对较低。基于此,建立学生学习表情三维状态空间情感模型,并在其中引入Maxout神经元,从而构建优化的三维状态空间情感模型,进一步解决三维梯度弥散问题,更好地优化系统的训练过程,在本模型中还引入了情感分类器的概念,实现对学生学习表情情感状态的有效分类,从而进一步增强模型的泛化能力。另外,建立了愉悦、困惑、惊讶、中性和疲倦5种情感状态的模型,并依据所提出的模型进行了实际验证实验,实验结果表明所提出的优化后的三维状态空间情感模型相比于传统模型识别准确率提升了12.5个百分点。

结合自注意力机制和Tree-LSTM的情感分析模型

情感分析随着人工智能的发展而逐渐受到重视,微博情感分析旨在研究用户对于社会热点事件的情感倾向,研究表明深度学习在情感分析上具有可行性.针对传统循环神经网络模型存在信息记忆丢失、忽略上下文非连续词之间的相关性和梯度弥散的问题,为此本文结合自注意机制和Tree-LSTM模型,并且在Tree-LSTM模型的输出端引入了Maxout神经元,基于以上两种改进基础上构建了SAtt-TLSTM-M模型.实验使用COAE2014评测数据集进行情感分析,实验结果表明:本文提出的模型相比于传统的SVM、MNB和LSTM模型准确率分别提高了16.18%、15.34和12.05%,其中引入了Maxout神经元的RMNN模型相对于LSTM模型准确率提高了4.10%,引入自注意力机制之后的Self-Attention+Tree-LSTM模型相比于Tree-LSTM模型准确率提高了1.85%,并在召回率和F值两项指标上均优于其他对比模型.由此证明,本文提出的SAtt-TLSTM-M模型可用于提高情感分析的准确率,具有一定的研究价值.

改进卷积神经网络在遥感图像分类中的应用

针对传统卷积神经网络(CNN)稀疏网络结构无法保留全连接网络密集计算的高效性和实验过程中激活函数的经验性选择造成结果不准确或计算量大的问题,提出一种改进卷积神经网络方法对遥感图像进行分类。首先,利用Inception模块的不同尺度卷积核提取图像多尺度特征,然后利用Maxout模型学习隐藏层节点的激活函数,最后通过Softmax方法对图像进行分类。在美国土地使用分类数据集(UCM_Land Use_21)上进行的实验结果表明,在卷积层数相同的情况下,所提方法比传统的CNN方法分类精度提高了约3.66%,比同样也基于多尺度深度卷积神经网络(MS_DCNN)方法分类精度提高了2.11%,比基于低层特征和中层特征的视觉词典等方法分类精度更是提高了10%以上。因此,所提方法具有较高的分类效率,适用于图像分类。

基于多神经网络融合的短期负荷预测方法

为了利用不同深度神经网络的优势,提高深度学习算法对短期负荷的预测能力,提出一种基于多神经网络融合的短期负荷预测方法。以电力系统历史有功负荷、季节、日期类型和气象数据为输入特征,并行架构的深度神经网络和注意力机制网络为核心网络;以并行架构中的卷积神经网络通道提取静态特征,门控循环单元网络通道挖掘动态时序特征,采用注意力机制网络融合提取的特征并动态调整网络对不同特征的依赖程度;使用Maxout网络增强网络整体的非线性映射能力,通过全连接网络输出预测结果。与支持向量机、长短期记忆网络的算例结果对比表明,所提方法具有更高的预测平稳性和准确性。

端到端的深度卷积神经网络语音识别

卷积神经网络(Convolutional Neural Networks,CNN)是目前流行的语音识别模型之一,其特有卷积结构保证了语音信号时域和频域的平移不变性。但是CNN存在着对语音信号建模能力有所不足的问题。为此,将链接时序准则(CTC)应用在CNN结构中,构建端到端卷积神经网络(CTC-CNN)模型。同时,引入残差块结构,提出一种新的端到端深度卷积神经网络(CTC-DCNN)模型,并利用maxout激活函数对其进行优化。通过TIMIT和Thchs-30语音库测试实验,结果表明在中英文识别中,采用该模型比现有卷积神经网络模型,准确率分别提高约4.7%和6.3%。

基于卷积神经网络的维吾尔语语音识别

为有效减少模型训练参数,降低维吾尔语语音识别词错误率,提出了基于卷积神经网络的维吾尔语语音识别。该方法将局部连接、权值共享以及池化有机结合,极大减少了模型训练参数。同时结合maxout和dropout算法,克服模型训练中数据稀疏的问题,进一步提高识别率。THUYG-20维吾尔语语音数据库的实验结果表明,相比传统的基于高斯混合模型隐马尔可夫模型的语音识别系统和基于深度神经网络的语音识别系统,基于卷积神经网络语音识别系统使维吾尔语语音识别错误率分别降低了15.97%和2.55%。

一种结合深度学习和集成学习的情感分析模型

随着社交媒体的不断发展,用户评价已成为网络决策的关键因素.为了准确分析社交媒体用户评价的情感倾向性,更好地推进舆情分析、推荐算法等工作,本文通过对Bi-LSTM模型和Bagging算法的改进,提出了一种新的情感分析模型—Bi-LSTMM-B模型.该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合.一方面在Bi-LSTM模型的基础上引入Maxout神经元,构建Bi-LSTMM模型,解决随机梯度下降算法中存在的梯度弥散问题,更好地优化训练过程.另一方面,模型基于Bagging算法训练多个情感分类器,根据分类器性能优劣利用袋外数据为每个分类器分配指定类别的权重,并提出相应的改进投票策略,增强了模型的泛化能力.实验结果表明:本文提出的Bi-LSTMM-B模型相比于传统的LSTM模型准确率提高12.08%,其中Maxout神经元的引入对情感分析准确率有8.28%的相对改善效果,改进后的投票策略对准确率有4.06%的相对改善效果,并在召回率和F值两项指标上均优于其他对比模型.由此证明,深度学习模型和集成学习思想相结合可提高情感分析的准确率,并具有一定的研究价值.

基于卷积神经网络的煤炭运载车辆识别

为了杜绝或避免矿产品资源如煤炭、砂石矿等行业因不开票而导致偷税漏税现象的发生,利用深度卷积神经网络自动识别空车重车是一种有效途径。本文在AlexNet模型基础上,针对空车重车图像的差异性,提出5种改进思路,最终得到一种基于maxout+dropout的6层卷积神经网络的结构。对34220张空车重车图片的测试结果表明,模型在准确度、敏感度、特异性、精度等方面都取得了良好的效果。此外,模型还具有高度的鲁棒性,可以成功识别大量不同角度和不同场景的空车重车图像。

基于深度优化残差卷积神经网络的端到端语音识别

为增强语音识别声学模型中特征提取的鲁棒性和深层网络模型训练的有效性,提出一种采用残差结构优化深层卷积神经网络的端到端语音识别模型。该方法使用连接时序分类(connectionist temporal classification,CTC)作为目标损失函数,通过在卷积神经网络层之间添加残差跳转连接,将前层中输入直接传输到后层,构建一组残差卷积层,深化了声学模型中卷积层层数。然后在残差结构内外分别添加Swish和maxout函数,改善网络存在的退化问题和梯度消失问题,进而提升了语音识别的性能。在中文数据集AISHELL-1上进行语音识别实验。研究结果表明,与传统识别模型相比,基于深度优化残差卷积神经网络的CTC模型在语音识别任务上具有更好的性能。

基于负样本多通道优化SSD网络的钢铁厂提取

准确提取钢铁厂对去产能监测和环境保护具有重要意义。传统的人工目视解译方法效率低、成本高,无法满足开展大区域钢铁厂监测的需求。以深度学习目标检测网络SSD为基础,构建面向遥感影像钢铁厂提取的深度学习目标检测网络,提出maxout模块,将负样本通路优化为多分支结构,突出难分负样本特征并提升网络对无用特征的抵制效果。利用国产GF-1数据对京津冀地区的钢铁厂进行快速自动提取实验。与人工解译的钢铁厂点位数据的对比表明,该目标检测方法的提取精度达到80%以上。

基于词典与异构融合网络的MOOC评论情感分析

自MOOC兴起以来,其不仅满足了互联网各行各业对学习的要求,而且也产生了大量学习者参与讨论以及对课程评论的数据,为此,文中提出一种面向MOOC领域的用户评论情感分类模型。针对用户评论,通过对评论文本进行分词,利用词向量和约束集构建了一部领域情感词典,用于提取评论的情感特征等信息;所提模型利用异构网络分层融合特征,首先通过对评论文本特征和情感特征的融合,经过双向GRU网络和注意力机制实现对融合特征的学习,得到第一次的情感特征;其次通过CNN和注意力机制实现对课程相关信息的特征学习,并与第一次的情感特征融合;经过两层特征融合,最终通过添加Maxout的情感分类层,实现对评论文本的情感分类。实验表明,该模型在情感分类任务中分类准确率达到91.41%,相比未融合特征的基线模型提高了3.39%。

基于深度最大输出网络的抗体种型特异性B细胞表位预测（英文）

B细胞表位研究有助于肽段疫苗研制,抗体研制以及疾病诊断和治疗研究。不同的B细胞表位诱导免疫系统产生不同的抗体种型,探索研究能够诱导特异性抗体产生的B细胞表位具有重要意义。基于二肽组成特征,利用深度最大输出网络算法训练构建三个二类分类器,分别对应诱导三种不同特异性抗体的B细胞表位,即Ig A表位,Ig E表位以及Ig G表位。通过五折交叉验证训练和测试这三个分类器,获得AUC的值分别为0.78,0.93以及0.78。Ig A表位和Ig E表位分类器的预测能力优于其它Ig A表位和Ig E表位分类器,Ig G表位分类器和其它Ig G表位分类器的预测能力相当。

基于卷积神经网络的中文语音识别人机交互系统设计

为提高中文语音识别系统的识别准确率,研究在卷积神经网络的基础上提出了一种中文语音识别人机交互系统。在该系统中的声学模型中融入了残差网络和maxout函数,以此提高声学模型的性能。对研究提出的基于链接时序分类准则的深度卷积网络模型进行性能对比发现,该模型的绝对误差值为3.6%,低于其他对比模型。该结果说明,优化后的CTC-DCNN(maxout)模型的识别性能更好。故利用该模型作为中文语音识别系统的声学模型可以有效地提高系统的识别准确率,保证其人机互动的准确性,为中文语音识别领域提供新的方法。

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.