利用记忆单元改进DQN的Web服务组合优化方法

针对面向高可扩展性、复杂性和异构性服务环境的Web服务组合难以进行优化的问题,提出一种利用长短期记忆单元改进深度Q神经网络(Long Short-Term Memory Deep Q-Network,LSTM-DQN)的Web服务组合优化方法。利用Markov对Web服务组合优化问题进行建模,分析各变量参数之间的关系,同时加入强化学习的组合优化模型,简化了组合优化过程;引入记忆单元对深度Q网络算法进行优化,提出LSTM-DQN方法,提升了DQN算法的全局寻优能力;将LSTM-DQN应用于大规模服务环境下的Web服务组合优化问题,对所建立的马尔可夫决策(Markov Decision Process,MDP)模型进行优化,以提升Web服务组合的处理效率。实验结果表明,该方法相对于传统方法在大规模服务环境下对Web服务组合优化所消耗时间更短,服务组合成功率更高,具有更强的处理能力和处理效率。

基于记忆单元与多尺度结构相似性的异常检测

针对基于记忆单元的自编码器模型(Dynamic Prototype Unit Model,DPU)在检测视频异常时没有充分利用多层次特征、未考虑异常与正常事件间的结构性差异的问题,提出融合多尺度记忆模块和多尺度结构相似性的异常检测模型.新模型构建了多尺度记忆模块(Multi Scale Memory Module),利用不同尺度空间的记忆单元对编码层特征进行编码,并将编码结果与解码层特征拼接,既能保留网络的浅层细节信息,又能促进正常模式的多样性.为了约束对正常事件中结构信息的学习,组合多尺度结构相似性(Multi Scale Structure Similarity Index,MS-SSIM)误差与误差作为目标函数,使预测视频中的事件结构更接近正常事件,提高视频中异常事件的预测误差.在标准数据集UCSD Ped1、UCSD Ped2和Avenue数据集上的实验结果表明,提出模型的帧级AUC比原模型分别提高了0.8%、3.4%和1.0%,帧率达到142.9 fps.

基于双向长短时记忆单元和卷积神经网络的多语种文本分类方法

针对日渐丰富的多语种文本数据,为了实现对同一类别体系下不同语种的文本分类,充分发挥多语种文本信息的价值,提出一种结合双向长短时记忆单元和卷积神经网络的多语种文本分类模型BiLSTM-CNN模型。针对每个语种,利用双向长短时记忆神经网络提取文本特征,并引入卷积神经网络进行特征优化,获得各语种更深层次的文本表示,最后将各语种的文本表示级联输入到softmax函数预测类别。在中英朝科技文献平行数据集上进行了实验验证,结果表明,该方法相比于基准方法分类正确率提高了4%,且对任一语种文本均能正确分类,具有良好的扩展性。

基于外部记忆单元和语义角色知识的文本复述判别模型

文本复述判别是一个重要的句子级语义理解应用。该文提出了一个轻量级的基于记忆单元的单层循环神经网络模型,并结合语义角色标注知识帮助进行英文文本复述判别。使用单层的循环网络模型减缓由于网络层数过多加重的梯度消失和梯度爆炸问题,易于训练;并且利用外部记忆单元和语义角色知识帮助存储两句话中不同层级的语义联系。该文模型在英文评测语料Microsoft Research Paraphrase Corpus测试集上F值为84.3%。实验表明,语义角色标注知识确实可以帮助文本复述判别,并且轻量级模型达到了与同类多层次网络模型相近的效果。

城市记忆单元及其系统——一种城市保护与发展规划

一、城市的层面结构分析层面结构分析,是作为广义的人类生境和聚居形态的一种解析方法而提出的。城市的层面结构分析是其中一个重要特例。其基本思路是,将人类由之产生和赖以生存的自然母体作为第一的和最本原的层面,简称底层面;将工业革命以后,以至未来的人类聚居地的功能结构层作为人类实际生存及进行能量流动的人工层面,简称体层面,城市形态无疑是其中最重要的部分;而人类基于功能层面之上,通过对功能层面的超越,以某种方式向底层面回归,以及其它可以导致人类获得最本原的家园感的人居环境,形成第三层面——境层面。

数字式模拟板卷径记忆单元和动态补偿试验研究

由于以前北京整流器厂生产的模拟控制卷径记忆单元和动态补偿单元调整比较费力而且乘法器的精度不高,尤其是随温度变化参数不稳定,元件即使筛选较好,用户多反映不太好。为了进一步提高轧机在这方面的控制水平。

Fe-Mn-Si系形状记忆合金中热诱发ε_M的单元结构及生长特性研究

用透射电子显微镜观察了Fe-17M-10Cr-5Si-4Ni合金中热诱发ε马氏体(εM)的组成结构,探讨了εM生长特性,实验表明,合金中较大尺寸的热诱发εM具有由生长取向大致相同的单元以首尾相接方式组成的结构特点,层错带平行分布的体系中εM具有促发形核、接续长大的生长特性。

基于长短期记忆神经网络模型的空气质量预测

随着城市化和工业化的快速发展,空气污染问题日益突出,空气质量预测显得尤为重要。当前一些有代表性的研究对空气质量进行实时监测和预报,例如周广强等采用数值预报的方法对中国东部地区的空气质量进行分析,但其实验结果表明该方法难以预测非常重的污染;SANKAR等使用多元线性回归对空气质量进行预测,但其实验结果表明线性模型预测精度低、效率慢;P REZ等使用统计方法对空气质量进行预测,实验结果证明统计方法的预测精度比较低;WANG等采用改进的BP神经网络建立了空气质量指数的预测模型,其实验验证了BP神经网络收敛速度慢、容易陷入局部最优解的问题;YANG等利用相邻网格的空气质量浓度效应,建立了基于随机森林的PM 2.5浓度预测模型,通过实验过程证明网格划分程序削弱了后续空气质量分析的质量和效率。这些方法都难以从时间角度建模,其中预测精度低是比较重要的问题。因为预测精度低可能会导致空气质量预测结果出现较大的误差。针对空气质量研究中预测精度低的问题,提出了基于长短期记忆单元(long short-term memory,LSTM)的神经网络模型。该模型使用MAPE,RMSE,R,IA和MAE等指标来检测LSTM神经网络与对比模型的预测性能。由于Delhi和Houston是空气污染程度比较严重的城市,所以使用的实验数据集来自Delhi的Punjabi Bagh监测站2014—2016年的空气质量数据和Houston的Harris County监测站2010—2016年的空气质量数据。LSTM神经网络与多元线性回归和回归模型(SVR)的比较结果表明,LSTM神经网络适应多个变量或多输入的时间序列预测问题,LSTM神经网络具有预测精度高、速度快和较强的鲁棒性等优点。

按模式记忆理论的记忆结构刻画

给出了一个按模式记忆结构的记忆模型 ,详细讨论了它的基本构成单元——智能记忆单元 IME的结构和操作 .由 IME构成的记忆结构是一个开放性的存储结构 ,可以实现记忆的层次性、语义性、时效性和灰度性 ,并提供在此记忆结构进行联想记忆的必要信息 .

基于改进门控单元神经网络的语音识别声学模型研究

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。

基于扩展截割路径的采煤机端头记忆截割方法研究

对采煤机进行基于扩展截割路径的采煤机端头记忆截割方案设计,从控制流程、系统组成及设备选型方面进行记忆截割系统搭建,并以控制记忆单元点的方式对采煤机牵引速度、滚筒调高信号进行简化数据收集,确保记忆截割数据的高效精确性。通过试验表明,截割轨迹控制精确,采煤机设备运行平稳。

揭示黑顶山雀记忆之谜

揭示黑顶山雀记忆之谜杨平生译陈娜校每年秋天，当北美树林里的树叶脱落只剩下光秃秃的褐色枝条，天空变得灰暗阴沉，草地里只有悬钩子和干瘪的浆果的时候，小黑顶山雀便机灵地迎接这冷酷无情世界的挑战。可供它在整个春天和夏天饱餐一顿的昆虫这时都死了。这意味着它必须...

融合深度误差反馈学习和注意力机制的短期风电功率预测

为提高风电功率预测精度,提出了一种有机融合深度反馈学习与注意力机制的短期风电功率预测方法。首先,以风电场数值天气预报(numerical weather prediction,NWP)为原始输入,基于双层长短期记忆网络(long short-term memory,LSTM)模型对风电功率进行初步预测。其次,利用极端梯度提升(eXtreme gradient boosting,XGBoost)算法构建误差估计模型,以便在给定未来一段时间内NWP数据的情况下对初步预测误差进行快速估计。然后,利用自适应白噪声完备集成经验模态分解法(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将初步预测误差分解为不同频段的误差序列,并将其作为附加性反馈输入,对风电功率进行二次预测。进一步在二次预测模型中引入注意力机制,为风电功率预测序列与误差序列动态分配权重,由此引导预测模型在学习过程中充分挖掘学习与误差相关的关键特征。最后,仿真结果表明所提方法可显著提高短期风电功率预测的可靠性。

Comparative study on the performance of ConvLSTM and ConvGRU in classification problems-taking early warning of short-duration heavy rainfall as an example

卷积长短期记忆单元ConvLSTM和卷积门控循环单元ConvGRU是两种广泛应用的深度学习单元,通过将循环机制与卷积运算相结合,常常用于时空序列的预测.为了明确上述两种模型的收敛速度和分类能力,需要使用相同的模型架构对相同的分类问题进行预测.本研究将北京短时强降水区级预警问题看作深度学习中的二分类问题,使用京津冀雷达网的组合反射率数据和北京区域内的自动气象站降雨数据进行深度学习模型的训练和评估.结果表明,ConvGRU的收敛速度比ConvLSTM快约25%.ConvLSTM和ConvGRU的预警性能随地区,时间,降雨强度的变化趋势相似,但大部分ConvLSTM的得分较高,少数情况下ConvGRU的得分较高.

基于AE-LSTM的多目标硬盘故障预测方法

硬盘故障预测是在故障发生前发出预警,避免数据丢失或服务中断,提高数据中心的可靠性和安全性;然而,大多数故障预测模型将硬盘故障问题转化为二分类任务,忽略了硬盘故障是渐变过程的,并且缺乏故障诊断功能;因此,提出了一种基于AE-LSTM的硬盘故障预测框架,实现多目标任务:硬盘健康状态分级、硬盘剩余使用寿命预测、硬盘故障诊断;采用回归决策树模型智能化对硬盘健康状态进行标记,并通过AE-LSTM模型提取鲁棒的隐藏变量,构建剩余使用寿命预测模型和硬盘健康状态分级模块,根据AE模块的输入输出差异进行硬盘故障诊断;在Backblaze公开数据集上,对比了RF、LSTM和AE-LSTM三种算法,实验结果证实了AE-LSTM算法在多目标硬盘故障预测中的有效性和优势。

基于循环神经网络的半监督动态软测量建模方法

数据驱动的软测量技术被广泛应用于难测关键变量的在线实时预报。然而,在工业过程中,有标签样本通常十分稀少,且动态特性显著,导致传统有监督、静态的软测量建模方法性能不佳。为此,提出一种基于循环神经网络的建模方法,首先将传统带有长短时记忆单元(LSTM)的循环神经网络(RNN)扩展为半监督模式,然后针对LSTM的不足,进一步提出一种基于注意力机制的改进方案。通过一个实际工业案例验证半监督LSTM-RNN在软测量应用中的有效性,以及所提出的改进方案的有效性。

基于LSTM递归神经网络的番茄目标产量时间序列预测

番茄目标产量预测对于合理制定灌溉施肥制度以及减少水肥的浪费有着重要意义。以番茄历年产量数据为依据,提出了一种基于长短期记忆递归神经网络的番茄目标产量预测模型,包括模型设计、网络训练和预测过程实现等,将模型预测结果与自回归移动平均(ARIMA)、小波神经网络(WNN)、支持向量回归(SVR)3种时间序列预测模型进行对比,验证了所提出的LSTM递归神经网络预测模型在番茄目标产量预测中具有较高准确性。

改进型变分自编码器及其在航天器故障检测中的应用

故障检测技术是实现航天器智能故障诊断和健康管理的基础。针对航天器故障检测领域存在的测试数据量大、故障标签稀缺问题以及对实时性的要求,提出了一种基于改进型变分自编码器(VAE)的无监督故障检测算法。所提算法首先利用长短期记忆(LSTM)单元替换VAE中传统的神经元,提取航天器测试数据间的时间依赖性和相关性等特征。然后提出了一种重构概率计算方法。该网络在只含有正常数据的训练集上进行训练,学习特征,并以较高的概率对训练集上的数据进行重构。当测试集中输入数据的重构概率小于设定的阈值时,则判定对应的输入数据为故障数据,从而实现故障检测。实验表明,所提方法可行,能够有效地对故障进行检测。

基于免疫算法的入侵检测系统特征选择

入侵检测系统中的特征选择是一个组合优化问题。为了有效地进行特征选择,提出一种结合进化思想的免疫算法。算法中的免疫记忆单元确保了快速收敛于全局最优解,算法中的均匀交叉操作则体现了进化的思想。提出一个基于神经网络的入侵检测系统模型,该模型具有多分类,易于更新系统使其快速适应新型入侵的特点。在KDD CUP’99上的实验表明该算法是有效的。

基于改进粒子群算法的电力通信网最佳抢修路径问题的研究

研究了改进的离散粒子群算法在电力通信网最佳抢修路径中的应用。粒子群优化算法是一种新型通用启发式算法,能够有效地求解大规模组合优化问题。在研究离散粒子群算法原理的基础上,引入记忆单元,实现粒子间信息共享,保证了粒子在寻优过程中能容易的跳出局部最优点,并能加速收敛到全局最优解。建立了电力通信网最佳抢修路径模型,构造了节点矩阵和速度矩阵,设计了求解算法,并编程进行了测试,实验结果表明了所提方法的可行性和有效性。