基于Seq2Seq模型的工作流动态调度多目标进化算法

将数据处理类工作流在云计算环境下的调度问题建模为动态多目标优化问题,同时为了解决静态多目标优化算法在环境参数动态变化下可能出现的种群多样性缺失问题,在NSGA-II算法的基础上结合Seq2Seq深度学习模型,提出了DNSGA-II-Seq2Seq算法,算法通过Seq2Seq模型学习连续历史环境下局部最优解的变化规律,在环境变化时预测新的解并将其加入NSGA-II算法的种群中,以解决多样性缺失问题,同时加速算法收敛。在改进的WorkflowSim上进行的实验表明,与其他经典的算法相比,DNSGA-II-Seq2Seq算法预测的解和最终结果在多项指标上均优于其他算法,验证了算法的有效性。

基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于BI-GRU改进的Seq2Seq网络的变压器油中溶解气体浓度预测方法

基于门控循环单元(GRU)构建双向多层门控循环单元,并引入编码器-解码器结构搭建Seq2Seq网络模型,通过优化神经元及神经网络结构提取时序数据依赖关系。同时引入注意力机制和Scheduled Sampling算法,自动获取与当前时刻预测输出显著相关的关键输入时间点,提高长时间预测的精度。变压器正常运行状态下的气体浓度预测算例结果表明,与基于简单GRU模型及简单Seq2Seq模型的方法相比,所提方法的预测误差更低且预测的发展趋势更符合真实值;变压器异常运行状态下的气体浓度预测算例结果表明,所提方法的平均相对误差和最大相对误差相比长短期记忆(LSTM)网络方法分别降低了0.73%和2.31%。

基于深度学习的语法纠错算法建模研究

基于基础seq2seq深度学习算法在语法纠错准确率和召回率方面存在的不足,提出了融合Attention机制和Transformer模块的改进型seq2seq语法纠错算法。通过引入Attention机制来记录decoder端和encoder端语言信息,提升信息完整性,采用beam-search和copy机制进行启发式搜索,缓解解空间对机器内存的消耗,利用Transformer模块进行自注意力机制的特征抽取,实现了语句向量数据的扩充并得到可解析上下文纠错。最后选择合适的语料库,对不同的语法纠错算法的准确率、召唤率和F 0.5数据语法纠错效果评价指标进行了比较,结果表明了文中改进的算法模型的有效性,提高了语法纠错的准确率和召回率。

基于语义单位的中文文本复述算法分析

阐述基于多层级语义单位的中文文本复述方法,基于词语和句子两个层级对文本进行复述,使用基于attention机制的seq2seq,通过加权编码部分中所有隐层并用多个语义信息(隐层状态)得到整个句子的语义表示。

基于机器学习的区域工程地质分层思路与方法研究

传统的地质分层方法通常依赖于人工解释和经验判断,存在过程繁琐、工作量大、受人为因素影响较大等缺点。本文旨在研究基于机器学习的区域工程地质分层的思路与方法,将地层分层问题转换为地质体空间单元的序列到序列预测任务及地质属性特征分类任务,以提高地质分层的准确性和效率。本文在对工程地质原始数据开展深入研究的基础上,提出采用深度学习方法对静力触探试验数据进行地质分层的训练和预测,通过分类算法对取土孔土样进行分层,并定量评价了相关算法的适用性。通过对比传统方法和机器学习方法的结果,验证了机器学习在地质分层中的优势。本研究为区域工程地质研究提供了一种新的地质分层思路,具有重要的实践意义。

基于指针网络的抽取生成式摘要生成模型

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词(OOV)问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。

基于WaveNet的端到端语音合成方法

针对端到端语音合成系统中Griffin-Lim算法恢复相位信息合成语音保真度较低、人工处理痕迹明显的问题,提出了一种基于WaveNet网络架构的端到端语音合成方法。以序列映射Seq2Seq结构为基础,首先将输入文本转化为one-hot向量,然后引入注意力机制获取梅尔声谱图,最后利用WaveNet后端处理网络重构语音信号的相位信息,从而将梅尔频谱特征逆变换为时域波形样本。实验的测试语料为LJSpeech-1.0和THchs-30,针对英语、汉语两个语种进行了实验,实验结果表明平均意见得分(MOS)分别为3.31、3.02,在合成自然度方面优于采用Griffin-Lim算法的端到端语音合成系统以及参数式语音合成系统。

基于机器学习和图像处理的护理机器人

文章提出了一款基于树莓派,采用计算机语言进行编程,通过Open CV进行人脸识别判断谈话对象的医用护理机器人系统。可根据医疗使用要求,完成心理辅导,代替护士查房,生成电子病历,语音视频记录谈话内容,数据记录等。可在特定情况下代替护士的工作,减轻护士负担,并在一定程度上缓解患者病痛。

基于深度学习的外语翻译机器人自动问答检索研究

针对传统日语翻译机器人自动问答检索极易出现语义丢失现象,导致生成答复和检索准确率低的问题,设计一个基于生成式和检索式相结合的外语翻译机器人自动问答检索系统。基于BiLSTM网络中的Seq2Seq模型,通过加入注意力机制、Beam Search算法和TF-IDF算法,分别构建生成式和检索式回复模型;最后将两个模型相结合实现外语翻译机器人自动问答检索。实验结果表明,相较于单向LSTM网络,双向BiLSTM可实现日语语句的双向预测,可有效避免部分语义丢失。且构建的检索式回复模型的回复正确率均保持在90%以上,最高可达95%,生成式模型回复模型在60次测试中,相关回复率最高为96.67%。由此可知,设计的系统可提升外语翻译机器人生成答复和检索准确率,可实现准确的自动问答检索,具备一定的有效性。

基于智能终端的语音阅读交互研究

为提高语音阅读交互系统中回复内容的匹配速率和准确率,从信息匹配的算法入手,提出基于attention机制对传统seq2seq模型进行改进,并引入beam search算法对语音识别结果进行剪枝,选择出最佳的匹配内容输出;接着进行语音阅读交互系统设计,选择语音识别系统、设定文本信息向编码信息转换的方式、对基于改进seq2seq模型的答复匹配设计;最后为验证改进后的seq2seq模型在语音阅读交互系统中的优势,配置语音阅读交互系统运行的实验环境,并进行算法验证实验。最终的结果证明,改进后的算法损失函数的收敛性性能更好;交互时回复信息的相关性明显高于改进前,且回复的信息的内容更为丰富。