基于混合maxout单元的卷积神经网络性能优化

针对深度卷积神经网络中maxout单元非最大特征无法传递、特征图像子空间池化表达能力不足的局限性,提出混合maxout(mixout,mixed maxout)单元。首先,计算相同输入在不同卷积变换下所形成的特征图像子空间的指数概率分布;其次,根据概率分布计算特征图像子空间的期望;最后,利用伯努利分布对子空间的最大值与期望值加权,均衡单元模型。分别构建基于mixout单元的简单模型和网中网模型进行实验,结果表明mixout单元模型性能较好。

改进卷积神经网络在遥感图像分类中的应用

针对传统卷积神经网络(CNN)稀疏网络结构无法保留全连接网络密集计算的高效性和实验过程中激活函数的经验性选择造成结果不准确或计算量大的问题,提出一种改进卷积神经网络方法对遥感图像进行分类。首先,利用Inception模块的不同尺度卷积核提取图像多尺度特征,然后利用Maxout模型学习隐藏层节点的激活函数,最后通过Softmax方法对图像进行分类。在美国土地使用分类数据集(UCM_Land Use_21)上进行的实验结果表明,在卷积层数相同的情况下,所提方法比传统的CNN方法分类精度提高了约3.66%,比同样也基于多尺度深度卷积神经网络(MS_DCNN)方法分类精度提高了2.11%,比基于低层特征和中层特征的视觉词典等方法分类精度更是提高了10%以上。因此,所提方法具有较高的分类效率,适用于图像分类。

一种结合深度学习和集成学习的情感分析模型

随着社交媒体的不断发展,用户评价已成为网络决策的关键因素.为了准确分析社交媒体用户评价的情感倾向性,更好地推进舆情分析、推荐算法等工作,本文通过对Bi-LSTM模型和Bagging算法的改进,提出了一种新的情感分析模型—Bi-LSTMM-B模型.该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合.一方面在Bi-LSTM模型的基础上引入Maxout神经元,构建Bi-LSTMM模型,解决随机梯度下降算法中存在的梯度弥散问题,更好地优化训练过程.另一方面,模型基于Bagging算法训练多个情感分类器,根据分类器性能优劣利用袋外数据为每个分类器分配指定类别的权重,并提出相应的改进投票策略,增强了模型的泛化能力.实验结果表明:本文提出的Bi-LSTMM-B模型相比于传统的LSTM模型准确率提高12.08%,其中Maxout神经元的引入对情感分析准确率有8.28%的相对改善效果,改进后的投票策略对准确率有4.06%的相对改善效果,并在召回率和F值两项指标上均优于其他对比模型.由此证明,深度学习模型和集成学习思想相结合可提高情感分析的准确率,并具有一定的研究价值.

端到端的深度卷积神经网络语音识别

卷积神经网络(Convolutional Neural Networks,CNN)是目前流行的语音识别模型之一,其特有卷积结构保证了语音信号时域和频域的平移不变性。但是CNN存在着对语音信号建模能力有所不足的问题。为此,将链接时序准则(CTC)应用在CNN结构中,构建端到端卷积神经网络(CTC-CNN)模型。同时,引入残差块结构,提出一种新的端到端深度卷积神经网络(CTC-DCNN)模型,并利用maxout激活函数对其进行优化。通过TIMIT和Thchs-30语音库测试实验,结果表明在中英文识别中,采用该模型比现有卷积神经网络模型,准确率分别提高约4.7%和6.3%。

基于多神经网络融合的短期负荷预测方法

为了利用不同深度神经网络的优势,提高深度学习算法对短期负荷的预测能力,提出一种基于多神经网络融合的短期负荷预测方法。以电力系统历史有功负荷、季节、日期类型和气象数据为输入特征,并行架构的深度神经网络和注意力机制网络为核心网络;以并行架构中的卷积神经网络通道提取静态特征,门控循环单元网络通道挖掘动态时序特征,采用注意力机制网络融合提取的特征并动态调整网络对不同特征的依赖程度;使用Maxout网络增强网络整体的非线性映射能力,通过全连接网络输出预测结果。与支持向量机、长短期记忆网络的算例结果对比表明,所提方法具有更高的预测平稳性和准确性。

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.

基于卷积神经网络的中文语音识别人机交互系统设计

为提高中文语音识别系统的识别准确率,研究在卷积神经网络的基础上提出了一种中文语音识别人机交互系统。在该系统中的声学模型中融入了残差网络和maxout函数,以此提高声学模型的性能。对研究提出的基于链接时序分类准则的深度卷积网络模型进行性能对比发现,该模型的绝对误差值为3.6%,低于其他对比模型。该结果说明,优化后的CTC-DCNN(maxout)模型的识别性能更好。故利用该模型作为中文语音识别系统的声学模型可以有效地提高系统的识别准确率,保证其人机互动的准确性,为中文语音识别领域提供新的方法。