基于权值共享的中朝神经机器翻译方法

针对低资源神经机器翻译,数据量不足,翻译效果不好的问题,提出采用权值共享的方法优化低资源神经机器翻译。首先,创建父模型,将爬取得到的数据进行处理,采用神经机器翻译模型进行训练;其次,创建统一的词典,确保子模型能够有效地利用父模型的词汇知识;最后,权值共享,子模型获得父模型的先验知识,为了验证所提方法的有效性进行实验对比,结果显示,权值共享模型翻译性能更好,译文的关键词及语义翻译完整,BLEU值较普通神经机器翻译模型提升了3.25。综上所述,通过采用迁移学习中的权值共享方法,我们成功地优化了低资源神经机器翻译问题,显著提高了翻译效果。这一方法对于解决低资源语言对的机器翻译问题具有重要的应用价值。

基于深度神经网络与权值共享的工业园区负荷预测

电力体制市场化的有序推进对工业园区负荷预测提出了新的要求。文章提出了基于深度学习与权值共享机理的负荷预测方法。在预测模型中,将深度神经网络设置为训练中的有监督学习方法,权值共享模式分析了多个目标之间的相关性,并使用各个目标的负荷变化率对相关度最高的任务聚合。算例中使用天津某高新区数据对算法有效性进行了验证,结果显示该算法有效提高了工业园区负荷预测的精度,有着较高的应用价值。

基于卷积神经网络的输电线路区内外故障判断及故障选相方法研究

在分析深度学习模型之一——卷积神经网络(convolutional neural network,CNN)的结构及原理的基础上,提出基于卷积神经网络的输电线路区内外故障判断及故障选相新方法。提出了采用两个softmax分类器的CNN网络结构,用同一CNN网络同时解决了区内外故障判断和故障选相两类非独立分类问题,实现了两种非独立分类问题的权值共享。数字仿真实验和实际现场故障数据测试结果表明:文中构建的数学模型,能同时实现区内外故障判断和故障选相,对采样率要求低,不需要整定任何参数,不受系统频率、故障位置、负荷电流、过渡电阻等因素的影响,结果准确可靠。

互学习神经网络训练方法研究

由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了"互学习预训练+标准正向训练"的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和"无监督预训练+监督微调"相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.

基于卷积神经网络的人脸性别识别

人脸性别识别是人脸识别的重要组成部分,但是人脸识别容易受到光照、旋转、平移、遮挡等因素的影响。将卷积神经网络引入到人脸性别识别中,该网络的结构具有稀疏连接和权值共享的优点,卷积层和采样层交替进行,简化了模型的复杂度。实验表明,该方法的网络结构有效地克服了旋转、遮挡等因素的影响,具有较好的鲁棒性。

卷积神经网络在语音识别中的应用

研究了使用卷积神经网络构造模式分类器,并用于连续语音识别的研究。CNNs相比于广泛使用于语音识别中的深层神经网络(Deep Neural Network,DNNs),能在保证性能的同时,大大压缩模型的尺寸。在标准语音识别库TIMIT上的实验结果证明,相比传统DNN模型,CNN模型的识别性能更好,同时其模型规模和计算量都有明显降低。

基于卷积神经网络的孤立词语音识别

为有效减少模型训练参数和训练时间,提高孤立词语音识别正确率,提出将卷积神经网络应用到语音识别中的方法。该网络中的局部感知野、权值共享与池化等特殊结构,能够在保证识别性能的前提下,极大地压缩训练模型的尺寸,深入分析卷积层卷积器个数与尺寸和池化层池化参数对识别结果的影响情况;经过动态时间规整网络,将发音单元不同长度帧的特征参数规整到同一帧数,输入到网络中进行语音识别。在自建库上的实验结果表明,相比传统的深度神经网络,卷积神经网络的语音识别正确率有12%的提升,是一种优良的语音识别模型。

利用多头-连体神经网络实现障碍行为识别

障碍行为指有特殊需要人群的伤害性行为,对其进行分类和识别是人类行为识别的一个重要分支。针对多传感器设备布设于人体不同部位来感知障碍行为的过程中存在传感器之间相关性未能被考量的问题,基于深度学习理论,提出了利用多头-连体神经网络表征传感器之间相关性的方法。该网络在权值共享的基础上,构建多个子网络对多传感器数据分别进行一致的特征提取操作,并对所提取的特征进行融合后通过分类器进行识别。首先对于传感器中存在的缺失数据进行上采样并进行数据标准化分析,其次以贝叶斯优化对该网络的超参数进行选取。然后,由于引入Adam优化器在障碍行为识别领域存在着过拟合的问题,改用AdamW优化器进行L2正则化处理并能够提升网络的识别准确率。实验结果表明:此网络对障碍行为的分类准确率约达到96.0%,相对于基线网络和单头网络,分类准确率分别提高了约6.1%和8.8%并降低了部分行为之间存在的误识问题。相对于多头网络分类准确率提高了约2.4%,并减少了约92.22%的训练参数量。通过解决传感器之间的关联性问题,证明此网络对于障碍行为的识别具有有效性。

一种基于卷积神经网络的哈欠检测算法

哈欠检测可以用于对驾驶员的疲劳驾驶行为发出警告,从而减少交通事故的发生。提出了一种基于卷积神经网络的哈欠检测算法,可以把驾驶员的面部图片直接作为神经网络的输入,避免对面部图片进行复杂的显式特征提取。利用Softmax分类器对神经网络提取的特征进行分类,判断是否为打哈欠行为。该算法在YawDD数据集上取得了92.4%的哈欠检测准确率。与现有多个算法相比,所提算法具有检测准确率高、实现简单等优点。

注意力机制下的VMD-IDBiGRU负荷预测模型

针对传统神经网络在负荷预测中精度欠佳、预测速度较慢的问题,提出一种基于注意力机制、变分模态分解和改进的深度双向门控循环单元短期负荷预测模型。该模型首先通过变分模态分解算法将负荷数据分解,以降低原始负荷数据的复杂度。然后:针对传统分解加预测组合模型存在参数多、模型复杂的问题,基于权值共享的思想建立改进的深度双向门控循环单元神经网络;引入注意力机制来突出关键因素的影响,通过注意力权重深度挖掘负荷数据存在的规律。最后,以中国某地区的负荷数据作为实例,通过与传统预测模型进行对比得出,本文所提模型在精度和速度方面均有一定的提升。

基于深度图像的手势识别研究

提出了一种基于卷积神经网络对Kinect采集的深度图进行手势识别的系统。Kinect采集到的手势深度图像由于存在深度差因此易于提取特征,再利用简单有效的预处理使图像中手势特征更加明显,最后利用卷积神经网络的局部感知野和权值共享等优点将预处理后手势深度图像直接作为输入进行手势识别。经实验验证,该方法能识别多种手势,且准确率高速度快。

面向边-端协同的并行解码器图像修复方法

针对现有神经网络图像修复方法在移动终端设备上部署存在效果差、响应时间长、高能耗的问题,提出了一种面向边-端协同的并行解码器图像修复方法及计算卸载策略。结合移动边缘计算(mobile edge computing,MEC)技术边-端协同的特性,提出一种面向边-端协同的并行解码器门控卷积图像修复网络ETG-Net(edge-terminal gated convolution network)。通过边-端共享权值的方式,提升图像修复及训练效率,并保留移动终端的独立工作能力。基于计算卸载决策,将图像修复部分计算任务有选择地卸载至边缘云,进一步降低终端节点的计算时延和能耗。实验结果表明,与近年来先进的模型相比,所提模型在保证图像修复质量的同时,解决了移动终端设备上部署图像修复模型存在的问题,降低了任务的响应时延。

深度卷积神经网络在图像识别算法中的研究与实现

深度学习是近些年来人工智能领域取得的重大突破,深度学习与传统模式识别方法的最大不同在于它所提取的特征是从大数据中自动学习得到,而非采用手工设计。现有的深度学习模型属于神经网络,文章引入深度卷积神经网络进行图像识别,该算法在对图像统一转换成固定尺寸后进行处理,具有局部感受野、权值共享和空间下采样等特点,可以有效地提取图像特征。文中使用Python爬虫技术采集的993张图像数据集,对该方法进行测试,平均识别率达到92.50%。实验结果表明,基于深度卷积神经网络的图像识别方法是可行的。

卷积神经网络在纸币冠字号识别中的应用

基于卷积神经网络能够直接从训练样本中提取特征并且具备权值共享等优势,本文提出了利用两级卷积神经网络实现纸币冠字号的识别方法。在字符分割过程中,考虑到待识别对象因破损、脏污等情况而引起的问题,提出了窗口移动配准法。实验表明,识别率可达99.99%以上,识别时间能控制在5 ms以内。

基于卷积神经网络的手势识别算法设计与实现

为了克服传统手势识别方法复杂的人工提取特征值操作,引入卷积神经网络进行手势识别,该算法可以直接对原始图像进行处理,具有局部感知域、权值共享和池化等特点,可以有效提取图像特征。使用Marcel手势识别数据集对框架进行训练,采用交叉验证的方法对系统进行评估,实验结果表明该方法可以识别经过训练的手势,且精确度高,鲁棒性强。

考虑特征重要性值波动的MI-BILSTM短期负荷预测

在短期负荷预测中,含有循环单元的深度学习模型应用广泛,但训练时采用的权值共享结构具有时不变性,忽略了输入特征(气象、日期、历史负荷值等)在不同时刻下给负荷变化带来的不同影响,即权值共享结构无法追踪输入特征的重要性值波动。针对此问题,提出一种考虑特征重要性值波动的互信息(MI)-双向长短期记忆(BILSTM)网络预测方法。利用MI法提取输入特征在不同时刻下的重要性值,组成重要性值波动矩阵,并将其作为系数修正原输入特征。然后,代入BILSTM网络中完成训练和预测工作,弥补权值共享结构无法追踪特征重要性值波动的缺陷,进一步提高预测精度。最后,以某地区实际电网负荷数据为例,验证所提短期负荷预测方法的有效性。

卷积神经网络算法的比较探究

机器学习的兴起使得计算机在处理庞大数据时多了一种强有力的手段,尤其计算机在识别大数据量图像时与计算机视觉技术相结合,使得图像识别等人工智能运用更加快速。深度学习发展和延伸了传统机器学习,使得计算机能像人类大脑一样用通过感受视取图像特征。卷积神经网络改善了传统神经网络的功能,通过权值共享技术减少网络训练参数的数量,采用下采样技术避免了传统神经网络易于过拟合等缺点,因此卷积神经网络在人脸识别,语音识别等领域有了广泛的运用。随着技术的发展,卷积神经网络也衍生出了许多性能优良的网络结构框架。本文主要探究R-CNN和Fast-R-CNN进行图像识别上的性能分析。

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止,基于卷积神经网络改进的变体网络有效提升了学习效率,但由于提取特征比较单一无法准确描述图像特征,导致相似度学习效率较低。为此,本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同,但权值不共享,网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征;然后通过特征融合层进行特征融合;最后将融合特征直接输入全连接层进行相似度学习,既改善了提取的图像特征多样性,又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验,结果表明,相比其他模型,本文提出的模型具有较强的网络学习能力和模型泛化能力,准确率高达97.96%。

基于卷积神经网络的多字体字符识别

采用随机对角Levenberg-Marquardt算法有效改进了Simard卷积网络的收敛速度,分析了样本类别数、全局学习率对网络收敛速度的影响,并成功地把Simard网络推广到对百度验证码等多字体小字符集的识别,达到98.4%的单字符识别率和93.5%的整体识别率.实验表明:改进后的Simard网络具有前期预处理少、泛化能力强、收敛速度较快的优点,可以胜任多字体小字符集的识别工作.

基于卷积神经网络的矿工面部表情识别方法

针对传统的矿工面部表情识别方法识别率较低、算法复杂等问题,以卷积神经网络为基础,结合支持向量机算法中的非线性映射函数,提出了基于卷积神经网络的矿工面部表情识别方法。卷积神经网络采用权值共享的策略,运用固定权值直接构造卷积层,并依照匹配生长规则确定网络层次结构。将经过预处理的矿工面部表情图像作为卷积神经网络的测试集和训练集,使用支持向量机对表征矿工面部表情特征的神经元进行分类,从而实现对矿工面部表情的分类识别。实验结果表明,该方法对矿工面部表情的识别率达到90.71%,能够满足实际应用需要。