Recent Progresses in Deep Learning Based Acoustic Models

In this paper,we summarize recent progresses made in deep learning based acoustic models and the motivation and insights behind the surveyed techniques.We first discuss models such as recurrent neural networks(RNNs) and convolutional neural networks(CNNs) that can effectively exploit variablelength contextual information,and their various combination with other models.We then describe models that are optimized end-to-end and emphasize on feature representations learned jointly with the rest of the system,the connectionist temporal classification(CTC) criterion,and the attention-based sequenceto-sequence translation model.We further illustrate robustness issues in speech recognition systems,and discuss acoustic model adaptation,speech enhancement and separation,and robust training strategies.We also cover modeling techniques that lead to more efficient decoding and discuss possible future directions in acoustic model research.

基于Transformer-LSTM的闽南语唇语识别

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文本序列预测.最后,在自建闽南语唇语数据集上进行实验.实验结果表明:模型能有效地提高唇语识别的准确率.

融合CNN与BiLSTM模型的短期电能负荷预测

针对卷积神经网络(CNN)在捕捉预测序列间历史相关性方面的不足以及在变量复杂情况下出现的无法精准提取预测关键信息的问题,提出一种将双向长短期记忆网络(BiLSTM)与卷积神经网络结合的CNN-BiLSTM模型.首先,采用数据预处理方法保证数据的正确性和完整性,并对数据进行分析以探究多变量之间的相关性;其次,通过CNN与L1正则化对多维输入特征进行特征筛选,选取与预测相关的重要性特征向量;最后,使用BiLSTM对CNN输出的关键特征信息进行保存,形成向量与预测序列,并通过分析时序特征的潜在特点,提取用户的内在消费模式.实验比较了该模型与其他时序模型在不同时间分辨率下的预测效果,实验结果表明,CNN-BiLSTM模型在不同的回望时间间隔下表现出了最佳的预测性能,能够实现更好的短期负荷预测.

基于CNN-LSTM-ARIMA的超短期风速预测

提升风速预测的精准度对于实时调整电力系统的管理策略及增强风电市场的竞争实力有着关键作用。提出一种基于卷积神经网络(CNN)、长短期记忆网络(LSTM)和自回归集成移动平均(ARIMA)模型的超短期风速预测方法,通过CNN卷积层捕捉时间序列数据中的模式和局部特征,利用LSTM模型对提取的特征进行学习训练,基于CNN-LSTM组合架构模型,预测未来风速并对比实际数据获得残差值,最终利用ARIMA分析历史残差来修正未来的预测误差值,实现对风速的超短期预测。以土耳其某个风电场的实际风速记录为基础,对未来10min的风速进行预测。结果表明,与CNN-LSTM、双层LSTM传统神经网络模型相比,CNN-LSTM-ARIMA模型对风速预测结果的平均绝对误差分别下降了16.40%、26.92%,能显著提高预测精度。

基于CNN-LSTM电力消耗预测模型及系统开发

有效预测电能负荷,对提高电力负荷时间序列测量准确度及合理制定用电能管理措施具有重要意义。针对传统预测模型在电能负荷预测中无法充分挖掘时间序列数据中隐藏特征的问题,基于电能数据时间序列的趋势,融合数值信息提出一种卷积神经网络(convolutional neuralnetwork,CNN)与长期短期记忆循环神经网络(long short-term memory network,LSTM)相结合的混合多隐层CNN-LSTM电力能耗预测模型。首先,通过设定最小目标函数作为优化目标,Adam优化算法更新神经网络的权重,并对网络层和批大小进行自适应调优以确定最佳层数和批大小。其次,构建混合多隐层模型并进行隐层组合优化与讨论,确定最佳时间维度的参数,进行时间维度的特征学习进而预测下一时间序列的耗电量。然后以某公司的电力负荷数据为例进行验证,并与LSTM、CNN、RNN等模型的预测结果分析比较。结果表明上述混合多隐层模型预测准确度达98.94%,平均绝对误差(MAE)达到0.0066,均优于其他相关模型,证明以上混合预测模型在电力负荷预测精度方面具有更好的性能。基于上述理论,开发了能耗监控决策系统,实现设备状态实时监控和能耗智能预测功能,为解决传统制造业能耗需求不精确和能源库存浪费问题提供参考和指导。

基于改进CNN-LSTM和RF的铁水KR脱硫预测模型

为实现较高精度的脱硫剂加入量预测,有效提高生产效益,本文提出一种基于改进卷积神经网络(CNN)-长短期记忆(LSTM)网络和随机森林(RF)结合的铁水脱硫两步预测模型。考虑到模型输入数据的相关性,利用皮尔逊相关系数确定各输入参数的相关性并筛选特征。模型以CNN-LSTM为基础,增加卷积层和残差连接,在提高挖掘数据的高维特征信息的同时避免网络退化。为增加网络对特征的区分和关注能力,引入多头注意力机制,让网络更加关注特征中的重要信息。使用贝叶斯优化RF超参数构建误差预测模型从而实现残差推理,对改进的CNN-LSTM模型预测结果进行修正。以现场采集的数据进行实验,结果表明,与CNN-LSTM模型相比,本文模型的拟合精度R2提升了17.11%,平均绝对值误差MAE降低了24.85%,均方根误差RMSE降低了30.18%,平均绝对百分比误差MAPE降低了28.33%。

模型误差影响下基于CNN+BiLSTM神经网络的非圆信号目标直接跟踪算法

针对运动观测阵列状态误差与接收频率抖动同时影响下的非圆信号无源跟踪问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)+双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiL⁃STM)的直接跟踪算法.该算法首先利用多运动观测阵列信号各频带间的相关性与辐射源信号的非圆特性,建立模型误差影响下的扩展多站观测矢量;接着利用多个观测时隙内扩展多站观测矢量的信号子空间构造空时特征输入序列;然后设计基于CNN与BiLSTM混合神经网络的直接跟踪模型,通过训练实现对非圆目标的轨迹矢量直接估计.本文算法是从原始数据信号子空间中估计轨迹矢量的直接跟踪模式,相比传统“观测参数估计+滤波轨迹跟踪”的两步估计模式,具有更高的估计精度.由于本文算法在神经网络训练过程中学习到模型误差的信息,因此能够实现对多种误差的校正.仿真结果表明,本文算法较传统两步跟踪算法与现有直接跟踪算法均具有更高的轨迹估计精度,能够明显提升模型误差影响下多站协同跟踪的鲁棒性.

考虑时空特征的城市内涝智能预报模型研究

针对传统城市内涝预报模型计算耗时长、实测内涝样本少、内涝特征因子欠考虑等问题,通过耦合SWMM模型和LISFLOOD-FP模型搭建了城市内涝机理模型,利用不同重现期下的设计暴雨进行数值模拟并生成内涝样本;基于样本和内涝特征因子构建了三维时空矩阵,实现对内涝特征因子数据的有序组织;在此基础上,将卷积神经网络(CNN)与长短时记忆网络(LSTM)进行耦合,构建了一种考虑多时空特征的城市内涝智能预报模型(CNN-LSTM);最后以三维时空矩阵为驱动,对该智能模型进行训练,选取广州市天河区的实测样本对其性能进行评估。结果表明:CNN-LSTM模型可以快速预报淹没水位和淹没范围,易涝控制点水位过程模拟的纳什效率系数在0.9以上,各个时刻淹没面积的平均匹配率达到92.2%,相对于机理模型的模拟效率提高了近70倍。该智能模型具有良好的预报精度和效率,可有效支撑城市防灾减灾工作。

基于MISSA-CNN-BiLSTM模型的尾矿坝位移预测

为应对尾矿坝位移预测所面临的复杂情况和精度要求,提出一种基于多算法耦合的尾矿坝位移动态预测模型。首先,基于时间序列分解模型将累计位移分为趋势项和周期项,利用高斯回归时间序列预测模型预测趋势项位移;然后,运用不同Copula函数研究诱发因素与周期项位移的整体相关性,鉴于周期项位移影响因素多样性与强非线性的特点,采用多策略融合的改进麻雀搜索算法改进麻雀搜索算法(MISSA)-卷积神经网络(CNN)-双向长短期记忆(BiLSTM)模型预测周期项位移;最后,将高斯回归趋势项位移预测值和MISSA-CNN-BiLSTM周期项位移预测值叠加。结果表明:尾矿坝累积位移预测值与实测值基本一致,预测结果相关性系数R为0.996,均方根误差(RMSE)为0.13 mm,建立的MISSA-CNN-BiLSTM多算法耦合模型预测精度较高,且能较好地预测尾矿坝位移的阶跃型变化。

基于LSTM人工神经网络的电力系统负荷预测方法

针对电力市场环境下短期电力系统负荷预测准确性较低的问题,提出了一种基于LSTM人工神经网络的组合预测模型。分析了LSTM神经网络和其变体GRU神经网络在进行负荷预测时学习时序特征的独特优势,并以卷积神经网络作为负荷数据的特征提取层,结合GRU网络构建了组合模型,通过建立残差预测模型对结果进行修正。仿真结果表明,具有记忆功能的神经网络预测效果要优于ANN和SVM模型,且所提出残差预测模型的负荷预测平均相对误差约为1.79%,其准确性高于单一算法的负荷预测模型。

42CrMo钢精密切削的刀具磨损量预测研究

针对42CrMo钢精密切削刀具磨损量预测研究小样本、非线性的特点,将量子粒子群算法(QPSO)、卷积神经网络(CNN)及长短期神经网络(LSTM)相结合,构建了QPSO-CNN-LSTM组合预测模型。采用QPSO算法对CNN-LSTM模型的隐藏层单元数、学习率、卷积核等进行优化,结合CNN网络特征提取能力强、LSTM网络具备记忆能力的特点,对实际加工实验的刀具磨损量进行预测,并通过误差评价指标分析,与CNN、LSTM、BP等单一模型以及PSO-GRNN组合模型进行预测效果对比研究。研究结果表明,本文构建的组合预测模型相对于单一预测模型,其预测值与真实值吻合程度更高;相对于PSO-GRNN组合模型,三种误差评价指标的误差值至少降低了27%,其泛化性和稳定性较好,预测精度与非线性拟合能力更强。

基于CB-Attention的JavaScript恶意混淆代码检测方法

当今JavaScript代码混淆方法日益多样,现有检测方法在对混淆代检测时会出现漏报和误报的情况,为解决该问题,提出一种基于CB-Attention的JavaScript恶意代码检测方法。由SDPCNN模型和BiLSTM+Attention模型构成,SDPCNN对短距离间的语义特征信息进行提取,BiLSTM+Attention获取JavaScript代码中长距离间的语义信息特征。为验证所提方法的有效性,将该方法与其它方法进行对比,对比结果表明,该方法具有较好的检测效果,F1-Score可达98.78%。

基于CNN-BiLSTM的特高拱坝变形预测模型

为提高特高拱坝的变形预测精度,提出了一种基于卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)的大坝变形预测模型.该模型利用CNN捕捉数据之间的空间关系,进行特征提取,再将其输入到BiLSTM中进行时间维度上的演变规律考虑.通过特征融合和全连接层的拼接,得到更丰富和综合的特征表示,最终映射到预测输出层进行拱坝变形预测.以某拱坝为例,验证了CNN-BiLSTM模型在RMSE等评价指标上具有高精度和稳定性,为混凝土拱坝结构的安全监测提供了新的思路.

基于印刷体监督的手写维文识别方法

手写维吾尔文字图像数据集匮乏及手写文本难于分割识别问题,提出了一种基于印刷体监督的手写维文识别模型模型将文字和印刷体文字图片同时作为标签,在训练时将两种文字图像并行输入到CNN中提取特征,而后将特征分别输入至识别分支进行识别任务、输入至匹配分支进行图片匹配任务,预测时将特征输入到BiLSTM编码器中得到序列特征,最后通过CTC得到识别结果。所提方法可生成充裕有效的手写文字图像,且在真实手写维文测试集上相较于基准模型CER降低5.03%,在IAM上也证明了模型迁移性。实验结果表明,提出的方法能够有效缓解手写维文文字图像数据集匮乏问题,模型能充分挖掘印刷体文字图像的特征作为手写体文字识别的监督信息来提高识别效果。

基于BERT的多模型融合的Web攻击检测方法

传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。

基于BERT和双通道语义协同的在线医疗评论情感分析

目的/意义利用人工智能技术从海量评论中迅速甄别负面评论,了解患者的需求与不满,推动远程医疗的可持续发展。方法/过程以好大夫在线网站的评论数据为例,首先使用双向编码器表征(bidirectional encoder representations from transformers, BERT)模型生成词向量,随后将其输入卷积神经网络(convolutional neural network, CNN)与双向长短期记忆网络(bidirectional long short-term memory, BiLSTM)构成的双通道模型,最后通过特征融合策略获取文本情感信息,完成二分类任务。结果/结论该双通道模型能够较好地融合BiLSTM与CNN的优势,与BERT、BERT_BiLSTM、BERT_CNN等9种模型相比,分类准确率、宏F1分数最高,在在线医疗评论文本情感分类任务中具有有效性。

融合注意力机制的CNN-GRU-LSTM电力系统短期负荷混合预测模型

在电力系统运行过程中,准确预测短期电力负荷是确保电力系统安全经济运行的重要条件。传统单一负荷模型无法完全捕捉复杂系统的变化和非线性关系,预测精度较低。为此,提出一种融合注意力机制的卷积神经网络、门控循环单元和长短期记忆网络的CNN-GRU-LSTM-attention混合预测模型。利用CNN对多维数据特征进行提取,引入注意机制增强GRU和LSTM在序列数据处理中对长期依赖关系的建模能力,进一步提高模型预测精度。结合实际算例进行对比分析实验,结果表明:CNN-GRU-LSTM-attention混合预测模型较LSTM、CNN-LSTM和CNN-GRU-LSTM等模型的预测精度均有较大提升,验证了其有效性和优越性。

基于深度学习的高速铁路工务设备巡检修数字化应用

高速铁路工务设备是铁路运输的基础,其使用状态直接关系到运输的安全性。为提升工务段巡检员和管理层的巡检效率和决策的准确性,解决巡检预警状态缺乏直观性、周期天数设置不合理以及春秋季专项检查缺乏电子化等问题,本文研究了两项关键技术,以构建数字化技术体系。首先利用深度学习建立了基于卷积神经网络的病害自动识别模型,并通过对几个高速铁路沿线车间的数据进行采集与验证分析,证明该模型在巡检员上传病害影像后,能够自动识别病害。训练精度高达97%,验证精度达到76%。其次,本文基于大数据技术,结合卷积神经网络和长短期神经网络建立设备状态判断模型,并构建出巡检周期预测算法。通过分析两个高速铁路工务段的数据,结果显示,设备状态识别模型能够通过捕捉巡检记录中的关键信息,准确判断设备运行状态,预测巡检次数的平均相对误差为14.3%,精度为85.7%。最后,通过高速铁路工务设备巡检修数字化实现案例,充分证明了两项应用的设计与融合方案能够为高速铁路工务设备的巡检修作业提供充分的技术支持,并能为实时而高效的检修决策提供全面可靠的数据依据。

基于CNN和BiLSTM神经网络模型的太阳能供暖负荷预测研究

针对太阳能供暖系统中因热量供需不匹配而引起的能源浪费现象,提出一种基于卷积神经网络-双向长短期记忆神经网络的短期热负荷预测模型。首先对数据进行清洗,使数据准确完整;其次依据皮尔逊相关系数对输入特征进行筛选;最后依据其空间-时间特征建立卷积神经网络-双向长短期记忆神经网络模型。在与单一神经网络模型长短期记忆神经网络及双向长短期记忆神经网络进行详细比较和分析后,结果表明,该模型相较于传统神经网络模型在精确度上存在明显提升,验证了本模型在太阳能供暖负荷预测中的有效性。

基于CNN和LSTM的机器学习模型在测井岩性识别的应用

在油气田勘探和开发中,测井解释是表征储层物性参数和评价油气储量的重要手段之一。其中,岩性识别是测井解释的主要任务。针对用于储层岩性识别的机器学习方法普遍存在参数优化难、训练时间长、容易过拟合等问题,导致测井解释精度低及岩性相近易混淆等。本文将卷积神经网络(CNN)有利于特征提取的优点与长短期记忆神经网络(LSTM)可考虑测井曲线随深度变化的趋势性信息的优点相结合,提出CNN-LSTM混合神经网络构建测井数据与岩性类别之间的非线性模型,并采用遗传算法(GA)优化混合神经网络模型的超参数,提高识别效率。基于4069组样本数据评估了该混合模型的性能。研究结果表明,与传统的机器学习方法相比,CNN-LSTM-GA混合神经网络优化模型有效地克服了储层岩性识别研究中的问题,取得更好的岩性识别效果,对油藏精细描述和储量评价具有一定的实用价值。