基于深层神经网络的信道编码类型盲识别

为了解决当前识别算法只能识别一种或者两种码字类型以及人工提取特征复杂的问题,提出了两种基于深层神经网络模型的信道编码类型识别器,即卷积神经网络(convolutional neural network,CNN)识别器和递归CNN(recursive CNN,RCNN)识别器,用于识别接收数据中不同类型的信道码字。将待识别的软解调序列作为自然语言处理中文本分类问题的句子向量进行处理,输入到预先训练好的深层神经网络识别器中进行识别,并分析了字长度对识别准确率的影响,得出了最合适的字长度。实验结果表明,两种识别器都能够有效识别接收数据中多种类型的信道编码,且在信噪比为3 dB时CNN识别器的识别准确率能够达到99%以上,而RCNN识别器在1 dB时就能够达到99%以上的识别准确率。

基于深层神经网络的藏语识别

文中首次涉及藏语的自然对话风格大词汇电话连续语音识别问题.作为一种少数民族语言,藏语识别面临的最大的困难是数据稀疏问题.文中在基于深层神经网络(DNN)的声学模型建模中,针对数据稀疏的问题,提出采用大语种数据训练好的DNN作为目标模型的初始网络进行模型优化的策略.另外,由于藏语语音学的研究很不完善,人工生成决策树问题集的方式并不可行.针对该问题,文中利用数据驱动的方式自动生成决策树问题集,对三音子隐马尔可夫模型(HMM)进行状态绑定,从而减少需要估计的模型参数.在测试集上,基于混合高斯模型(GMM)声学建模的藏字识别率为30.86%.在基于DNN的声学模型建模中,采用三种大语种数据训练好的DNN网络作为初始网络,并在测试集上验证该方法的有效性,藏字识别正确率达到43.26%.

深层神经网络中间层可见化建模

深层神经网络的中间层是隐含的、未知的,这使得深层网络的学习过程不可追踪,学习结果无法解释,在一定程度上制约了深度学习的发展.本文通过引入先验知识使深层网络的中间层具有明确的含义与显性的影响关系,即中间层可见化,从而部分人工干预深层网络的内部结构,约束网络学习的方向.基于深层堆叠网络(Deep stacking network,DSN),提出两种中间层部分可见的深层神经网络:输入层部分可见的深层堆叠网络(Input-layer visible DSN,IVDSN)和隐含层部分可见的深层堆叠网络(Hidden-layer visible DSN,HVDSN),部分可见是为了保留对未知信息的提取能力和一定的容错能力.以基于文本的言语情感计算为例测试所提网络的有效性,结果表明先验知识的引入有助于提升深层神经网络的性能;所提两种网络均可实现中间层的部分可见化,其中HVDSN结构更精简,性能也更优.

深层神经网络语音识别自适应方法研究

为了解决语音识别中深层神经网络的说话人与环境自适应问题,从语音信号中的说话人与环境因素的固有特点出发,提出了使用长时特征的自适应方案。基于高斯混合模型建立说话人—环境联合补偿模型,对说话人与环境参数进行估计,将此参数作为长时特征,将估计出来的长时特征与短时特征一起送入深层神经网络进行训练。Aurora4实验表明,该方案可以有效地对说话人与环境因素进行分解,并提升自适应效果。

利用词表示和深层神经网络抽取蛋白质关系

蛋白质关系抽取是生物医学信息抽取领域的重要分支。目前研究中,基于特征和核函数方法的蛋白质关系抽取已被充分研究,并且达到了很高的F-值,通过改进特征和核函数进一步优化实例表示变得十分困难。该文结合词表示和深层神经网络,提出了一种实例表示模型。该模型能够充分利用词表示的语义表示能力和深层神经网络的表示优化能力;同时引入主成分分析和特征选择进行特征优化,并且通过比较多种传统的分类器,寻找适合蛋白质关系抽取的分类器。该方法在AIMed语料、BioInfer语料和HPRD50语料上的F-值分别取得了70.5%、82.2%和80.0%,在蛋白质关系抽取任务上达到了目前最好的抽取水平。

基于深层神经网络的电力负荷预测

精确的电力负荷预测具有很大的经济和社会效益。本文基于深层神经网络研究负荷预测。文章首先分析了负荷预测中用到的关键特征,接着描述了深层神经网络和有监督的判别式预训练方法,以及文中使用的三种激活函数。最后,在一个较大的电力负荷数据集上比较了不同神经网络模型的预测效果。实验结果表明,使用有监督的预训练的深层神经网络具有最好的预测精度。

基于稀疏堆叠降噪自编码器-深层神经网络的语音DOA估计算法

针对传统波达方位(DOA)估计算法在低信噪比下定位误差大的问题,提出基于稀疏堆叠降噪自编码器-深层神经网络的语音DOA估计算法。该算法将阵列协方差矩阵上三角阵作为DOA估计特征输入到稀疏堆叠降噪自编码器进行预训练,采取迁移学习策略将训练得到的最优权重作为深度神经网络的初始权重,提高网络的抗噪性、泛化性和收敛速度。仿真与实验结果表明,与传统DOA估计算法相比,该算法在低信噪比情况下定位误差小、准确度高。

面向医疗系统的多样性数据深层神经网络推荐算法

针对医疗数据多样性导致推荐过程存在干扰,易产生较大推荐歧义,且使用简单学习过程无法区分数据,导致推荐结果不佳的问题,提出面向医疗系统的多样性数据深层神经网络推荐算法.首先,设计了医疗推荐系统框架,对多样性医疗数据进行预处理.然后,引入设计的深层神经网络模型,并对该模型进行训练.最后,将预处理完成的医疗数据输入深层神经网络模型进行深度处理,输出推荐函数,完成数据推荐,解决学习中的歧义性.试验结果表明,所提算法的数据预处理效果较好,改进后的深层神经网络模型能够产生更多的激活函数,且所提算法的数据推荐准确率高达89%,精度较高,优于其他模型,利用所提算法改进后的医疗系统学习性能较好,能够为医疗领域的信息化发展提供参考依据.

基于深层神经网络的英语口语发音错误捕捉方法研究

为了提高英语口语发音错误捕捉能力,提出基于深层神经网络的英语口语发音错误捕捉方法。构建英语口语发音信号检测模型,采用多传感融合跟踪识别方法进行语音信号采集,结合时频特征分解方法进行发音错误信息的特征提取,建立发音错误信号的统计特征分析模型,采用深层神经网络分类器进行发音错误信号的特征筛选和分类识别,实现英语口语发音错误捕捉。仿真结果表明,采用该方法进行英语口语发音错误捕捉的准确性较高,实用性强。

基于深层神经网络的多特征关联声学建模方法

针对不同声学特征之间的信息互补性以及声学建模中各任务间的关联性,提出了一种多特征关联的深层神经网络声学建模方法,该方法首先借鉴深层神经网络(deep neural network,DNN)多模态以及多任务学习思想,通过共享DNN部分隐含层为不同特征声学模型间建立关联,从而挖掘不同学习任务间隐含的共同解释性因素,实现知识迁移以及性能的相互促进;其次利用低秩矩阵分解方法减少模型估计参数的数量,加快模型训练速度,并对不同特征的识别结果采用ROVER(recognizer output voting error reduction)融合算法进行融合,进一步提高系统识别性能.基于TIMIT的连续语音识别实验表明,采用关联声学建模方法,不同特征的识别性能均要优于独立建模时的识别性能.在音素错误率(phone error rates,PER)指标上,关联声学建模下的ROVER融合结果要比独立建模下的ROVER融合结果相对降低约4.6%.

基于深层神经网络(DNN)的汉语方言种属语音识别

将深层神经网络(Deep Neural Network)应用于汉语方言种属语音识别.基于优化的QuickNet软件,为方言识别实现了一种有监督的DNN逐层预训练方法.在训练时,从3层开始逐层做有监督的神经网络训练,每增长一层的初始权值包含前一层训练好的部分权值和输出端的随机权值.在得到最大层的初始权值后,再进行传统的BP网络训练.该方法和普通神经网络相比识别率有较大提升,可用于移动互联网标准语音识别人口、方言口音鉴识等领域.

深层神经网络预训练的改进初始化方法

在基于神经网络的语音识别任务中,提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性,寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响,发现此种方法可以加快预训练阶段的速度,提升神经网络训练的效率。

采用深层神经网络中间层特征的关键词识别

在基于模板匹配的关键词识别中,提出采用深层神经网络的中间层特征(bottleneck,BN)作为特征输入,将其取代传统的声学参数来生成后验概率图.首先采用传统语音识别的过程训练一个中间层很窄的深层神经网络,将所有的语音特征经过这个神经网络后得到稳健的BN特征;然后利用混合高斯模型将BN特征转化成后验概率图;在识别过程中,利用后验概率图作为特征参数,采用简化的分段动态时间规整算法实现关键词匹配.在TIMIT数据库上,相对于采用传统感知线性参数的系统,采用BN特征的系统,识别准确率有30%的提升.

压缩深层神经网络隐藏层维度对其分类性能的影响

为了使深层神经网络具有更好的泛化能力、少量训练时间的性能。文中汲取压缩神经网络的思想,通过将深层神经网络的输入层与隐藏层按照不同的比例将隐藏层的维度进行压缩,并在传统压缩深层神经网络的基础上,在其顶层添加一个分类层,使深层神经网络拥有分类的能力。实验将构建的深层神经网络应用于MNIST手写数据集的分类测试,结果表明,经过适当压缩的深层神经网络比未被压缩的深层神经网络具有更好的分类效果,而且节省了大量的训练时间。

基于改进单深层神经网络的自然场景中维吾尔文检测

针对自然场景中维吾尔文检测难度大的问题,改进单深层神经网络对自然场景中维吾尔文进行检测。该网络结构由维吾尔文特征提取组件和多层特征融合的文本检测组件组成,以端到端的方式训练学习预测维吾尔文文本框的位置以及置信度。维吾尔文特征提取组件利用卷积神经网络提取自然场景维吾尔文图像中的多尺度和多层级维吾尔文特征。多层特征融合的文本检测组件则使用维吾尔文特征提取组件提取的特征,预测文本框的位置和维吾尔文类别的置信度。分析发现与中英文检测不同,维吾尔文文本具有更特殊的特征,针对这种特性设计了多宽高比和多尺寸大小的默认框并调整了部分卷积核的大小。经在自然场景中具有维吾尔文的图片集实验表明,改进的单深层神经网络方法考虑了图像的多尺度和多层级特征对检测精度的影响,算法的准确率和F值分别达到了0. 723 4和0. 611 5,提高了检测的准确率。

一种新型激活函数:提高深层神经网络建模能力

修正线性单元做为深层神经网络的激活函数,常被用来处理复杂的函数来提高深层神经网络的建模能力。针对传统修正线性单元提出一种新的激活函数——Tanh ReLU,Tanh ReLU在修正线性单元的基础上为其添加一个负值和边界值,同时保证Tanh ReLU函数在原点处相切,以此克服由于修正线性单元激活函数非零均值激活、极大输出值和原点处不连续的缺点而损害网络的生成。将此新的激活函数应用于MNIST手写数据分类实验以验证其建立的深层神经网络的性能;同时针对网络中不同的超参数的选择,来进一步验证Tanh ReLU对于提高深层神经网络模型性能的影响。实验结果表明:与修正线性单元相比,Tanh ReLU建立的深层神经网络得到了更好的分类结果,实现了提高深层神经网络分类性能的目的。

基于深层神经网络压制多次波

有效压制多次波一直是地震勘探中的难点问题.尽管已发展了多种多次波压制方法,但仍存在多次波压制不全、计算耗时长等缺陷,使得应对复杂地质地震数据多次波压制具有挑战性.为了突破现有多次波压制方法的局限性,本文提出了一种基于深层神经网络的多次波压制方法,采用的深层神经网络是一种改进的具有卷积编码器和卷积解码器的U-net网络.不同于常规方法依赖于滤波或波动理论,该方法仅依赖于大量训练数据.训练数据以含多次波的原始地震数据作为输入,不含多次波的地震数据作为输出,通过最小化损失函数来优化神经网络参数.训练成功的网络模型具备较好地分离多次波和一次波的能力,可直接用来快速压制地震数据中的多次波,避免了常规方法涉及的大规模计算.工业界模型数据测试结果表明,本文提出的深层神经网络方法能有效压制复杂地质地震数据中的多次波,同时还具有较高的泛化能力和多次波压制效率.

基于深层神经网络的备件储备方案决策方法

备件分类对于备件储备具有重要意义,是备件决策活动的关键环节。分析了影响备件储备选择的因素,提出了基于深层神经网络的备件储备品种和数量决策方法。对备件属性进行梳理,按照属性影响因素分析,提出2种备件分类方法:(1)将备件属性重要性展开,对备件属性重要性进行排序,使用一个结构相对简单的深层神经网络依次对各属性实施判决,"不确定储备"的品种将再通过下一属性判决;(2)将备件的全部属性输入一个结构相对复杂的深层神经网络,深层神经网络依据备件的全属性实施判决。实验证明2种方法分别在时间效率和决策准确性上具有优势,能够为备件储备工作提供决策支撑。

基于深层神经网络的道路交通标志检测识别方法研究

交通标志在道路交通运行中扮演着不可或缺的角色。随着智能交通的不断发展,道路交通标志的自动检测识别日益受到研究者的关注。在实际交通环境下,由于运动模糊、天气条件、光线干扰及拍摄视角等因素,给图像中交通标志自动识别带来了困难。针对这一问题,该文提出了基于深层神经网络的快速交通标志识别的方法,实现了常见道路交通标志的检测识别,并通过实验进行测试,结果表明,该方法在图像中交通标志的检测率和识别率方面都达到了较好的效果。

基于改进深层神经网络的织物配方智能预测算法

针对织物三刺激配色精度不高,无法克服配色过程中出现的同色异谱等问题,提出了基于改进深层神经网络的织物配方智能预测算法。采用高光谱成像系统测量织物的光谱反射率信息,利用改进的深层神经网络来建立织物的光谱反射率--染色配方关系模型。实验结果显示,改进深层神经网络的配方预测值与真实值的平均误差在0.02以内,表明改进深层神经网络能有效的解决织物配方预测问题,具有很好的应用价值。