多层结构神经网络的等误差范围逼近与收缩学习方法及其应用

本文提出了一种用于前馈型多层神经网络学习的等误差范围逼近与收缩学习方法,这种方法仅仅要求网络的实际输出落在理想模式输出的一个事先给定的误差范围之内,从而可以大大提高网络的学习速度,且运算量小,而且通过适当选择等误差范围,它还可以提高网络在模式识别中的推广性能.如果网络用于模式联想等方面时,通过误差范围的逐步收缩,这种方法还可以以很小的额外代价提高网络学习的逼近精度;另外,它还可以避免传统方法中经常出现的训练模式反转等局域极小状态和过学习现象的出现.最后,文中给出了以这种方法训练的网络用于脑电波癫痫信号识别中的实验结果及其分析.

基于卷积神经网络结合极限学习机的办公垃圾图像分类

目前,基于神经网络的垃圾分类方法大多利用迁移学习获得较好的性能,然而这些方法存在训练时间长、泛化能力有限的问题。针对上述问题,本文提出一种经典网络结合极限学习机的级联网络模型应用于垃圾分类。首先,分别采用VGG19、ResNet18网络的卷积部分作为主干网络提取垃圾图片特征;其次,使用极限学习机作为分类器进行垃圾分类;最后,进行了极限学习机隐含层结点个数选择和全连接层保留与否的实验。实验结果表明,在大类的办公垃圾分类中,级联网络的训练时间和泛化能力明显优于迁移学习,同时当经典网络去除全连接层后,再结合级联网络分类可以获得更好的分类性能。

基于相关性学习的多任务模型及其应用

多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的多任务学习模型,并将该模型作为新的代理模型应用于贝叶斯优化算法中,以期解决昂贵的优化问题.在传统的多任务学习网络后面增加相关性学习层,使已经完成初步共享学习的任务在该层进行优化共享,令多个任务所学习到的知识充分交互起来.根据不同的基于参数的共享机制,构建带有相关性层的LeNet和径向基函数(radial basis function,RBF)多任务学习模型,在多任务版本的美国国家标准与技术研究所(Mixed National Institute of Standards and Technology,MNIST)数据集和任务相关性可控制的综合数据集上进行实验,验证了所提出的基于相关性层的多任务学习模型的有效性.将所提多任务学习网络作为代理模型应用于贝叶斯优化算法中,不仅能减少模型对目标问题的评价次数,还能成倍地扩充训练数据数量,进而提升模型的性能.

基于MTL-DNN系统融合的混合语言模型语音识别方法

基于混合语言模型的语音识别系统虽然具有可以识别集外词的优点,但是集外词识别准确率远低于集内词。为了进一步提升混合语音识别系统的识别性能,本文提出了一种基于互补声学模型的多系统融合方法。首先,通过采用不同的声学建模单元,构建了两套基于隐马尔科夫模型和深层神经网络(Hidden Markov model and deep neural network,HMM-DNN)的混合语音识别系统;然后,针对这两种识别任务之间的关联性,采用多任务学习(Multi-task learning DNN,MTL-DNN)思想,实现DNN网络输入层和隐含层的共享,并通过联合训练提高建模精度。最后,采用ROVER(Recognizer output voting error reduction)方法对两套系统的输出结果进行融合。实验结果表明,相比于单任务学习DNN(Single-task learning DNN,STL-DNN)建模方式,MTL-DNN可以获得更好的识别性能;将两个系统的输出进行融合,能够进一步降低词错误率。