基于tree LSTM的旅游评论情感分析方法研究

通过tree LSTM(long short-term memory)模型对旅游网站评论进行情感分析,以研究用户对旅游景点的满意程度。根据依存句法树的遍历方式将带有情感信息的评论词向量输入到tree LSTM模型中,提取句子特征得到评论的情感分类结果,后续再对情感分类结果进行情感分析,得到用户对景区的满意度。并且扩充了现有情感词库,以提高模型在旅游领域情感分类的准确度。实验结果表明,tree LSTM模型在情感分类中比bi-LSTM的F1值高119%,对旅游评论有较高的分类能力。

基于Tree LSTM+CRF的属性级观点挖掘

评价对象与观点内容的提取是观点挖掘中非常重要的任务。本研究提出了一个树结构长短期记忆网络(Tree LSTM)结合条件随机场(CRF)的联合模型抽取评价对象和观点内容。首先对评论句进行依存句法分析,根据句子的依存分析树构建Tree LSTM,并设计树结构下LSTM单元的计算方法;接着将Tree LSTM的输出作为CRF的输入进行序列标注,实现评价对象与观点内容的抽取。最后在SemEval Challenge 2014任务4的数据集上对模型性能进行了验证,评价对象和观点内容抽取结果的平均F1值在餐馆和笔记本电脑领域分别为86.76%、83.22%和79.86%、80.42%,优于现有的评价对象和观点内容抽取方法。实验结果表明,设计的Tree LSTM能很好地学习词语之间的层次关系,同时联合模型有效避免了传统CRF需要构建特征工程的弊端。

基于TREE-LSTM算法的船舶汽轮机组变负荷故障诊断

针对船舶汽轮机组变负荷过程故障诊断中的耦合参数时序特征难以捕捉以及正常参数变动的干扰等问题,引入TREE-LSTM神经网络模型以实现复杂非线性系统动态数据分类。首先建立某船舶汽轮机组仿真模型,分析并进行故障仿真;随后进行数据预处理与特征工程;最后训练TREE-LSTM模型进行故障诊断,并与SVM、LSTM等模型进行比较。TREE-LSTM模型对于船舶汽轮机组变负荷过程的故障诊断正确率为98.7%,正确率最高。由于引入时间序列与复杂神经网络拓扑结构,TREE-LSTM在处理非线性系统动态数据分类问题时效果更好。

基于故障树和LSTM-SVM的稀土电解给料自动辅机故障诊断方法

稀土熔盐电解过程中电解给料自动辅机组件之间工作关联大,故障复杂多样,使用单一故障诊断方法效果不理想。针对这一问题,通过分析给料自动辅机组件之间的工作关系,提出基于故障树和LSTM-SVM的粉体下料设备故障诊断方法。首先搭建多层故障树,分析故障模式,然后根据故障树数据提取重要度较高的故障模式,建立长短期记忆神经网络故障诊断模型,故障定位后根据故障树分析结果所定义的权重大小输出诊断结果,并使用SVM对非故障异常工作状态进行分级。测试结果表明该模型具有较高的故障识别准确率。

融合注意力机制和Child-Sum Tree-LSTM的二进制代码相似性检测

抽象语法树是一种代码的树型表示,它保留了代码中定义良好的语句组件、语句的显式顺序和执行逻辑。包含丰富语义信息的抽象语法树可以在二进制分析时通过反编译生成,并且已经作为代码特征应用于二进制代码相似度检测。抽象语法树中不同类别的节点承载着不同的语义信息,对整棵树的语义具有不同的贡献程度。然而现有的二进制代码相似度检测方法所用神经网络无法对抽象语法树节点进行重要性区分,影响了模型的训练效果。针对该问题,提出了一种融合注意力机制和Child-Sum Tree-LSTM神经网络的跨指令集、跨代码混淆二进制代码相似性检测方法。首先使用二进制分析工具IDA Pro对二进制代码反编译提取架构无关的抽象语法树特征,并利用随机采样构造训练样本对。然后使用抽象语法树训练样本对训练融合注意力机制和Child-Sum Tree-LSTM的神经网络模型。在公开数据集BINKIT上的实验表明,所提方法的AUC和Accuracy指标分别为94.1%、66.2%,优于Child-Sum Tree-LSTM算法。

基于改进LSTM的组合式飞轮故障诊断方法

考虑难以获取飞轮精确数学模型及星上算力受限问题,提出了一种基于改进LSTM与故障树相结合的故障诊断方法。首先,从种群初始化、距离控制参数及α狼位置更新等角度改进传统灰狼算法(GWO),使其拥有更好的收敛性能;然后在网络训练过程中引入优化算法,对超参数空间开展寻优,克服传统手动调整方法或网格搜索法导致的超参数选取效率低的问题;进一步考虑故障树分析的工程实用性和神经网络的自主性,设计二者组合的故障诊断框架;最后,建立飞轮故障树模型并进行仿真实验,仿真证明了改进GWO出色的收敛性以及组合式诊断算法对飞轮故障检测和识别的有效性。

基于GBDT-LSTM的闽江流域水质预测

闽江作为福建省最大的河流,其生态保护对维护全省水生态环境而言意义重大。为进一步利用水质评价和预测方法对水质状况进行有效分析,选取闽江流域2017年1月-2023年8月共20处水质监测站数据作为研究对象,采用水质综合指数法对各站点水质状态进行判断;比较LSTM模型和GBDT-LSTM模型的拟合结果,并对各指标数据进行预测。结果表明,1)闽江流域各监测点除总氮外的水质指标均呈现较好趋势,各监测点的总氮浓度存在差异,整体情况较差,其中位于三明和南平市的河段由于当地重工业发达,导致水体中的硝态氮不断增加,进而致使河段内总氮浓度过高。2)流域水质的WQI值呈现逐年上升的趋势,水质状况普遍处于中等及以上水平,仅有少数监测点的水质状况处于很差状态,从中上游携带的泥沙等固体的堆积导致了连江琯头的水质情况较差;沙县斑竹溪渡口由于位于三明和南平的交界处,且沿岸分布较多重工业城市,故水质状态略差;相较于南平和三明的大型重工业企业,位于古田县的监测点以农业、轻工业为主,对水质指标的影响相对较小,水质状况因此较好。3)采用GBDT对变异程度较高的各水质指标在预测模型中的重要性进行排序,发现GBDT-LSTM混合模型的拟合效果相较于LSTM模型更好,更有利于对水质状况进行精确地预测。4)水体中总氮、高锰酸盐指数等含量的不断增加主要源于大量的工业废水,建议加强对临近闽江流域高污染高排放企业的控制,科学合理地实现工业污染排放和污染物容量在时空上的合理分配。

基于LSTM-DT模型的低碳工业互联网网络安全态势平台

低碳工业互联网网络安全态势平台的网络拓扑结构具有一定的限制性,导致节点之间的通信受到约束,使得平台吞吐量较小,无法满足相应的吞吐量需求。为此,提出基于长短时记忆-决策树(Long Short-Term Memory-DecisionTree,LSTM-DT)模型的低碳工业互联网网络安全态势平台设计研究。将GF-PR6K可编程控制面板作为硬件装置;利用长短期记忆网络,在记忆当前时刻低碳工业互联网网络状态信息的基础上,在下一时刻有选择地传递或遗忘低碳工业互联网网络的隐藏状态,最大限度降低低碳工业互联网网络安全态势分析阶段的冗余计算量,利用DT对低碳工业互联网网络状态序列信息进行综合。在测试结果中,设计平台吞吐量不仅呈现出了随着测试互联网网络构成及规模的增加逐渐增大的特点,且对应的涨幅明显,当节点之间通信距离由15 m增加至50 m时,对应的吞吐量增幅仅为1.00 kb。

结合自注意力机制和Tree-LSTM的情感分析模型

情感分析随着人工智能的发展而逐渐受到重视,微博情感分析旨在研究用户对于社会热点事件的情感倾向,研究表明深度学习在情感分析上具有可行性.针对传统循环神经网络模型存在信息记忆丢失、忽略上下文非连续词之间的相关性和梯度弥散的问题,为此本文结合自注意机制和Tree-LSTM模型,并且在Tree-LSTM模型的输出端引入了Maxout神经元,基于以上两种改进基础上构建了SAtt-TLSTM-M模型.实验使用COAE2014评测数据集进行情感分析,实验结果表明:本文提出的模型相比于传统的SVM、MNB和LSTM模型准确率分别提高了16.18%、15.34和12.05%,其中引入了Maxout神经元的RMNN模型相对于LSTM模型准确率提高了4.10%,引入自注意力机制之后的Self-Attention+Tree-LSTM模型相比于Tree-LSTM模型准确率提高了1.85%,并在召回率和F值两项指标上均优于其他对比模型.由此证明,本文提出的SAtt-TLSTM-M模型可用于提高情感分析的准确率,具有一定的研究价值.

基于多头注意力机制Tree-LSTM的句子语义相似度计算

针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。

一种基于Tree-LSTM的句子相似度计算方法

在浅层句法树和依存关系树的基础上,提出两种结构化特征:基于短语的浅层句法树NPST和基于短语的依存树NPDT,并将它们与Tree-LSTM模型相结合,进行句子相似度计算。实验表明,使用结构化特征和Tree-LSTM会带来性能的提升。

改进Tree⁃LSTM网络的情感分析方法

在句子级情感分类任务中,针对深度学习模型易受噪声干扰而导致的分类效果差问题,提出一种结合对抗训练和注意力机制(Attetion)改进树形长短时记忆网络(Tree⁃LSTM)的模型。该模型为多层级结构,包括对抗样本的词嵌入层、Tree⁃LSTM层、注意力机制层。模型中词嵌入层即在词向量添加扰动形成对抗样本,将原始样本与对抗样本一起训练模型,对模型进行正则化处理,增强模型的泛化能力,Tree⁃LSTM层可以提取句子结构特征,注意力机制层对Tree⁃LSTM树的节点赋予不同的权重值以区分不同程度的情感词汇,从而改善模型的分类性能。实验结果显示在数据集SST、MR、COAE2014上,提出模型相比传统模型NBSVM、MNB、LSTM准确率明显提高,比未引入对抗样本的Att⁃TLSTM模型准确率提高,有更快的收敛速度和稳定性,证明该方法能有效提高情感分类任务中的分类性能。

基于XGBoost-LSTM的胶凝砂砾石抗压强度预测

针对胶凝砂砾石(CSG)抗压强度试验周期长、耗材大等问题,运用极度梯度提升树-长短期记忆网络(XGBoost-LSTM)组合模型对CSG抗压强度进行预测.先选取相关性较强的“水泥含量”和“砂率”这2个输入变量代入XGBoost模型进行预测,并将结果与原特征一起代入LSTM模型;再采用94组抗压强度数据进行训练和验证.结果表明:与基础模型XGBoost和LSTM相比,XGBoost-LSTM组合模型的决定系数分别提高5.6%和3.5%.说明通过XGBoost模型构造新特征具有可行性,且XGBoost-LSTM组合模型能够对CSG抗压强度进行精准预测.

一种融合LSTM预测网络的试题并行推荐算法

设计了一种融合LSTM预测网络,基于多决策树和认知诊断的试题并行推荐算法MDT&CD-LSTM,用于解决自适应教育中的学习资源推荐问题。该算法集成多决策树和认知诊断的推荐结果,并利用LSTM网络预测学生的知识状态,从而向学生推荐最合适的试题。实验结果表明,该自动推荐算法可以有效地提高试题推荐结果的准确性,比改进决策树模型精确度提升了21.67%,误差均值减少了26.52%。该算法能够满足学生的个性化学习需求,帮助学生更好地理解知识点,具有广阔的应用前景。

基于产品特征树和LSTM模型的产品评论情感分析

[目的/意义]从产品评论数据挖掘角度出发,研究多层次、细粒度评论倾向性分析问题,为企业提供更全面的产品改善意见.[方法/过程]提出一种基于产品特征树和LSTM模型的产品评论情感分析方法.该方法结合行业产品特点和依存句法分析结果,通过特征类别、层级和特征表述词构建产品特征树;在此基础上,根据用户评论分句及其所包含的产品特征词汇,运用深度学习LSTM模型进行评论分句情感识别和产品特征情感分布计算.[结果/结论]利用真实汽车产品评论数据集进行试验检验,结果表明该方法情感分类准确率高,可实现面向产品特征层级的多粒度情感分布测算.[局限]产品特征树构建需要人工参与,方法模型的普适性有待进一步检验.

基于LSTM的三体滑行艇航态预测与航速控制器设计

三体滑行艇的航态问题是一个极其重要的研究内容,其具有预测难度大、受力复杂、稳定性差等特点。目前,DT决策树以及LSTM(Long Short-Term Memory networks)被广泛应用于故障排除、无人控制、路径规划等方面,并具有较好的工程适用性。在本文中,为了研究三体滑行艇在各航速状态下的航态问题,利用DT决策树+LSTM算法,根据三体滑行艇的运动姿态数据进行训练学习,得到艇体各运动参数的权重分配、实时预测,构建艇体运动姿态数据库,实现对于三体滑行艇的航速调节与匹配。通过试验数据与数值仿真数据的对比分析,得出该方法对于三体滑行艇航态的预测具有较高的准确性,设计所得航速控制器对三体滑行艇在各航态下的航速匹配具有较好的工程适用性。

基于极性转移和LSTM的树结构网络与句子分类

长短期记忆网络(long short term memory,LSTM)是一种能长久储存序列信息的循环神经网络,在语言模型、语音识别、机器翻译等领域都得到了广泛的应用。首先研究了前人如何将LSTM中的记忆模块拓展到语法树得到LSTM树结构网络模型,以获取和储存句子深层次的语义结构信息;然后针对句子词语间的极性转移在LSTM树结构网络模型中添加了极性转移信息而提出了极性转移LSTM树结构网络模型,更好地获取情感信息来进行句子分类。实验表明在Stanford sentiment tree-bank数据集上,提出的极性转移LSTM树结构网络模型的句子分类效果优于LSTM、递归神经网络等模型。

面向句义及句法的事件检测模型

事件句的句法结构有助于语义理解。针对中文领域的事件检测任务,本文设计了面向句义及句法的事件检测模型(BDD)以增强对事件句的理解能力。以基于来自变压器的双向编码器表示(BERT)的动态词向量为信息源,设计基于依存树的长短时记忆网络模型(D-T-LSTM)以融合学习句法结构及上下文语义,并加入基于依存向量的注意力机制强化对不同句法结构的区分度,在中文突发事件语料库(CEC)上的实验证明了本文模型的有效性,精确率、召回率、F_(1)值均靠前,且F_(1)值比基准模型提升了5.4%,召回率提升了0.4%。

基于改进长短期记忆网络的电力负荷预测研究

针对用户用能分析中电力负荷预测模型的变量冗余和收敛困难问题,提出一种基于改进长短期记忆网络(long short-term memory,LSTM)的短期负荷预测模型。首先利用FP-tree对复杂的负荷数据和气象数据进行分析,筛选负荷强关联因素,构建出训练数据集;其次建立LSTM负荷预测模型,并使用关联性分析得到的强关联因素训练负荷预测模型;最后,选取美国Homestead地区的历史数据进行仿真分析。通过对比遗传算法优化反向传递神经网络算法和鲁棒性损失函数的人工神经网络型的预测结果,预测模型的精度和稳定性满足要求,在实际中具有一定的应用价值。

基于叠层循环神经网络的语义关系分类模型

基于循环神经网络结合句法结构的方法被广泛运用于关系分类,利用神经网络对输入的编码信息自动获取特征并实现关系分类;然而,目前已有的方法主要是基于单一特定句法结构的模型,而特定句法结构的模型不能够迁移到其他句法结构类型上。针对该问题,提出一种融合多句法结构的叠层循环神经网络模型。该叠层循环神经网络分为两层进行网络构建,首先在序列层进行实体预训练,通过Bi-LSTM-CRF融合attention机制,提高模型对文本序列上实体信息的关注度,从而获取更加准确的实体特征信息,促进关系层阶段更好地分类;其次在关系层,将Bi-Tree-LSTM嵌套在序列层之上,并将序列层的隐状态与实体特征信息传入关系层,利用共享参数对三种不同的句法结构进行加权学习,通过端到端的模型训练并实现语义关系分类。实验结果表明,该模型在SemEval-2010 Task8语料库上的marco-F1值达到了85.9%,并进一步地提升了模型的鲁棒性。