基于梯度提升决策树改进双向门限循环单元的锅炉变负荷燃烧系统建模

锅炉燃烧系统是一个典型变量多、耦合性强、大滞后、多输入/多输出的动态系统,构建符合实际工况的燃烧系统模型十分困难。本文提出一种新的基于双向门限循环单元(Bi-GRU)的锅炉燃烧系统建模方法,建立了变负荷(低、中、高负荷)工况下燃烧系统训练模型。同时,采用梯度提升决策树(GBDT)降低输入特征矩阵维数。GBDT模型可以在不同的负荷与输出下评估输入特征的权重,能在保留特征原有物理意义的基础上识别出权重比例最大的特征。基于GBDT的特征选择模型既能降低原始输入维数,又可以为后续燃烧控制策略提供理论指导。实际运行数据计算结果表明,Bi-GRU和GBDT建立的新的燃烧系统模型能够准确地反映不同负荷下主蒸汽流量、主蒸汽压力和NO_(x)排放量的动态变化。与传统的循环神经网络(RNN)模型相比,本文新模型的精度和性能都有显著提高,并且结构简单,计算量小。

基于融合模型与语义网络的App用户意图识别研究

随着手机应用软件的流行,应用市场上出现了大量非结构化的中文用户评论。基于用户评论识别App用户意图,可以帮助开发人员对App软件进行有针对性的维护和改善。为了从中准确识别用户意图,提出一种基于融合模型和语义网络的App用户意图识别方法FSAUIR。使用百度工具Senta判断评论的情感倾向,构建基于RoBERTa的融合意图分类模型RBMS,通过RoBERTa模型将用户评论转化为语义特征表示,并将其输入到双向门控循环单元中,以提取评论的全局上下文语义信息,同时利用多头自注意力机制和SoftPool获取关键的特征信息,保留主要特征,通过Softmax进行归一化处理,得到意图分类结果。在意图分类的基础上,引入PositionRank模型提取各意图类别下评论的关键词,计算关键词之间的共现关系,构建关键词语义网络,从而更细粒度地识别用户意图。实验结果表明,相比BERT、RoBERTa、RoBERTa-CNN等模型,RBMS模型在人工标注数据集上具有较优的分类性能,准确率、精确率、召回率、F1值分别为87.75%、88.09%、87.80%、87.88%。此外,在意图分类的结果集中,FSAUIR构建的语义网络可以高效地挖掘出用户评论中有价值的信息。

基于多传感器信息融合和CNN-BIGRU-Attention模型的液压防水阀故障诊断方法

在建筑工程领域,尤其是在工程搅拌设备中,涉及到复杂液压工作介质,液压防水阀往往会出现不同程度的故障。此外,恶劣的工作环境和复杂的噪声背景使得对液压防水阀的故障进行诊断变得困难。为了解决这一难题,提出了一种基于多传感器信息融合和卷积神经网络-双向门控循环单元-自注意力机制(CNN-BIGRU-Attention)模型的防水阀故障诊断方法。首先,考虑到单一传感器振动信号难以充分表达故障特征,该方法使用了3个传感器采集含噪声的振动信号,并进行了必要的预处理;其次,提取了信号的16个时域特征、5个频域特征以及3个时频域特征,并利用熵权法进行了特征融合,达到了增强特征的目的;然后,将融合的多维特征集输入到CNN-BIGRU-Attention模型中进行了特征识别;最后,利用实际的液压防水阀故障诊断实验,验证了该方法的有效性。研究结果表明:采用多传感器提取的特征更为全面,信息融合有助于捕捉更完整的隐藏数据特征,从而显著提高诊断的准确率;相较于其他特征识别方法,采用CNN-BIGRU-Attention模型的液压防水阀故障诊断准确率可分别提高6.7%、4.6%和14.2%,达到了96.86%,证明了该方法的有效性。该方法将先进的机器学习技术与实际工程应用相结合,为建筑工程问题提供了一种新颖、有效的解决方案。

基于改进时序胶囊网络的油藏生产动态分析模型

我国许多油田的主力开发区块已逐渐进入高含水期,地下油藏复杂,含水量逐步上升,产油量下降。提高对现阶段油田开发生产规律和开采状况的准确认识,对研究油田生产动态变化规律以及制定油田开发策略具有重要意义。针对油田生产动态变化规律的问题,本文提出一种基于改进时序胶囊预测的油藏动态分析模型。首先,应用双向门控循环单元来捕捉油田数据中的时序特征,提升模型对时序信息的建模能力;其次,用多头注意力深度卷积层捕捉初级时序特征信息,高效地提取序列的长距离依赖关系和复杂特征表示;最后,在动态路由算法中引入注意力机制,让高级胶囊更好地关注重要特征,从而提高信息传递的效率和准确性。为验证本文模型有效性,将油田的时序数据作为输入,通过改进胶囊网络模型输出预测日产油量。将改进的胶囊网络与ResNet、LeNet5等9种模型进行对比。实验结果表明,改进后的胶囊网络的预测精度更高,可达到94.5%。

基于并行混合网络的短文本情感分析模型

针对目前在短文本语义情感分析过程中会存在的传统词嵌入对情感语义表达不充分,特征挖掘不全面,准确率较低等问题,提出一种基于多头注意力机制的MACGRU并行混合网络模型。首先,根据胶囊网络(CapsNet)与双向门限循环单元网络(BiGRU)不同的特点选择BERT词嵌入与Glove词嵌入对短文本做向量化表示,并对Glove词嵌入改进加入位置嵌入和词性嵌入,使短文本在词嵌入阶段获取更丰富的短文本信息;其次,将BERT训练的词向量和Glove训练的词向量分别输入CapsNet和BiGRU中提取短文本局部语义信息和短文本的上下文语义信息;然后,在CapsNet和BiGRU的特征输出后都加入多头注意力机制对提取到的情感特征进行加权处理;最后,将多头注意力机制加权后的局部特征和上下文语义特征进行融合并通过softmax函数进行情感分类输出。上述模型在公开数据集COVID-19上进行实验验证,其模型的准确率,精准率,召回率,F1指标都达到了95%以上,相较于其它基准模型性能更优,也充分证明了该模型的优越性。

基于EWT-CNN-BiGRU的多特征电力负荷预测模型

针对目前多特征预测模型在短期电力负荷数据上精度不足的问题,提出一种基于经验小波变换(EWT)的卷积神经网络(CNN)融合双向门控循环单元(Bi GRU)预测模型。首先,从多维时序数据中提取强关联性特征,其次,对选定特征进行经验小波变换,将时序数据映射至频域以获取子序列,最后,通过卷积神经网络和双向门控循环单元融合模型实现对电力负荷数据的预测。该预测模型使用德国某联合循环电厂的时序数据进行实验验证。结果表明,该预测模型获得99.463%的拟合优度,具有较好的预测效果。

基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F_(1)值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。

基于预训练语言模型的维吾尔语事件抽取

以往的维吾尔语事件抽取研究多采用静态词向量加长短时记忆神经网络的分析方式,无法有效处理一词多义和上下文语义表示问题。针对目标语言,训练两种维吾尔语预训练语言模型,提出一种结合BiGRU的联合问答模型事件抽取方法。利用预训练语言模型获取文本的动态语义向量,融合类别表征信息,运用BiGRU进一步提取文本特征。实验结果表明,在事件识别任务上F1值达到77.96%,在事件主体抽取任务上F1值达到74.89%。相比基线模型NER方法,所提方法的F1值提高了14.08%。

基于小波变换与BiGRU-NN模型的短期负荷预测方法

为更好地挖掘大量采集数据蕴含的有效信息,提高短期负荷预测精度,文中提出一种基于小波变换与双向门控循环单元(BiGRU)、全连接神经网络(NN)混合模型的短期负荷预测方法。文章利用小波变换将负荷特征数据分解为高频数据以及低频数据,再分别建立高频混合神经网络以及低频混合神经网络模型进行预测。在混合神经网络模型中,将负荷特征数据作为BiGRU-NN网络的输入,利用BiGRU-NN网络学习负荷非线性以及时序性特征,以此进行短期负荷预测。文中以丹麦东部地区的负荷数据作为算例,实验结果表明,该方法与GRU神经网络、DNN神经网络、CNN-LSTM神经网络相比,具有更高的预测精度。

基于混合特征网络的学生评教文本情感分析模型

以学生评教文本情感分析任务作为切入点,针对传统基础深度学习模型特征提取能力不足、循环神经网络训练效率较低以及词向量语义表示不准确等问题,提出基于混合特征网络的学生评教文本情感分类算法。采用轻量级ALBERT预训练模型提取符合当前上下文语境的每个词的动态向量表示,解决传统词向量模型存在的一词多义问题,增强向量语义表示的准确性;混合特征网络通过结合简单循环单元和多尺度局部卷积学习模块以及自注意力层,全面捕捉评教文本全局上下文序列特征和不同尺度下的局部语义信息,提升模型的深层次特征表示能力,自注意力机制通过计算每个分类特征对分类结果的重要程度,识别出对情感识别结果影响较大的关键特征,避免无关特征对结果造成干扰,影响分类性能,将分类向量拼接后由线性层输出评教文本情感分类结果。在真实学生评教文本数据集上的实验结果表明,该模型F1值达到97.8%,高于对比的BERT-BiLSTM、BERT-GRU-ATT等深度学习模型。此外,消融实验结果也证明了各模块的有效性。

基于CNN-BiGRU-Attention的短期电力负荷预测

针对目前电力负荷数据随机性强,影响因素复杂,传统单一预测模型精度低的问题,结合卷积神经网络(Convolutional neural network,CNN)、双向门控循环单元(Bi-directional gated recurrent unit,BiGRU)以及注意力机制(Attention)在短期电力负荷预测上的不同优点,提出一种基于CNN-BiGRU-Attention的混合预测模型。该方法首先通过CNN对历史负荷和气象数据进行初步特征提取,然后利用BiGRU进一步挖掘特征数据间时序关联,再引入注意力机制,对BiGRU输出状态给与不同权重,强化关键特征,最后完成负荷预测。试验结果表明,该模型的平均绝对百分比误差(Mean absolute percentage error,MAPE)、均方根误差(Root mean square error,RMSE)、判定系数(R-square,R~2)分别为0.167%、0.057%、0.993,三项指标明显优于其他模型,具有更高的预测精度和稳定性,验证了模型在短期负荷预测中的优势。

基于用户性格和语义-结构特征的文本评论情感分类方法

由于传统文本评论情感分类方法通常忽略用户性格对于情感分类结果的影响,提出一种基于用户性格和语义-结构特征的文本评论情感分类方法(User Personality and Semantic-structural Features based Sentiment Classification Method for Text Comments,BF_Bi GAC).依据大五人格模型能够有效表达用户性格的优势,通过计算不同维度性格得分,从评论文本中获取用户性格特征.利用双向门控循环单元(Bidirectional Gated Recurrent Unit,Bi GRU)和卷积神经网络(Convolutional Neural Network,CNN)可以有效提取文本上下文语义特征和局部结构特征的优势,提出一种基于Bi GRU、CNN和双层注意力机制的文本语义-结构特征获取方法.为区分不同类型特征的影响,引入混合注意力层实现对用户性格特征和文本语义-结构特征的有效融合,以此获得最终的文本向量表达.在IMDB、Yelp-2、Yelp-5及Ekman四个评论数据集上的对比实验结果表明,BF_Bi GAC在分类准确率(Accuracy)和加权macro F_(1)值(F_(w))上均获得较好表现,相对于拼接Bi GRU、CNN的情感分类方法(Sentiment Classification Method Concatenating Bi GRU and CNN,Bi G-RU_CNN)在Accuracy值上分别提升0.020、0.012、0.017及0.011,相对于拼接CNN、Bi GRU的情感分类方法(Sentiment Classification Method Concatenating CNN and Bi GRU,Conv Bi LSTM)F_(w)值上分别提升0.022、0.013、0.028及0.023;相对于预训练模型BERT和Ro BERTa,BF_Bi GAC在保证分类精度的情况下获得了较高的运行效率.

面向联合收割机故障诊断领域知识图谱的构建技术及其问答应用

联合收割机作为一种有效的机械化收割设备,可以极大地提高农作物的收获效率。然而在进行收割作业时不可避免地会发生一些机械故障,由于驾驶员缺乏专门的维修经验,无法确定故障发生的原因以及出现故障后应该如何维修机器,导致严重影响农作物的收获,甚至还可能引发安全事故。由于知识图谱能够利用图数据库将专家知识等非结化数据进行规范化的存储,所以在故障诊断问答领域,知识图谱有着良好的应用前景,基于此提出一套面向联合收割机故障诊断领域知识图谱的构建方法。根据专家知识明确知识图谱中所需要的实体和实体关系类型,利用RoBERTa-wwm-ext预训练模型融合双向门控循环单元(BiGRU)和Transformer编码器的实体抽取模型对非结构化文本进行实体抽取;利用RoBERTa-wwm-ext预训练模型融合循环神经网络(RNN)模型对抽取的实体进行实体审核;在实体审核完成后使用RoBERTa-wwm-ext预训练模型融合双向门控循环单元(BiGRU)和注意力机制的关系抽取模型对头实体和尾实体之间存在的实体关系进行抽取;将抽取到的实体和实体关系组成三元组,利用三元组构建知识图谱,从而可以利用知识图谱实现智能问答。

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(BiGRU),将训练后的词向量作为BiGRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94.32%,召回率为94.12%,F 1值为0.9422,在中文文本分类任务中具有良好的性能。

面向社交媒体评论的上下文语境讽刺检测模型

讽刺是日常交际中一种常见的语用现象,能够丰富说话者的观点并间接地表达说话者的深层含义。讽刺检测任务的研究目标是挖掘目标语句的讽刺倾向。针对讽刺语境表达变化多样以及不同用户、不同主题下的讽刺含义各不相同等特征,构建融合用户嵌入与论坛主题嵌入的上下文语境讽刺检测模型。该模型借助ParagraphVector方法的序列学习能力对用户评论文档与论坛主题文档进行编码,从而获取目标分类句的用户讽刺特征与主题特征,并利用一个双向门控循环单元神经网络得到目标句的语句编码。在标准讽刺检测数据集上进行的实验结果表明,与传统Bag-of-Words、CNN等模型相比,该模型能够有效提取语句的上下文语境信息,具有较高的讽刺检测分类准确率。

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络(CNN)在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息,从而限制模型的文本分类性能这两大问题,提出一种并行混合神经网络模型CA-BGA。首先,采用特征融合的方法在CNN的输出端融入双向门限循环单元(BiGRU)神经网络,通过融合句子的全局语义特征加强语义学习;然后,在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制,从而在保留较多特征信息的同时,降低噪声干扰;最后,基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明,提出的混合神经网络模型具有收敛速度快的特性,并且有效地提升了文本分类的F1值,在中文评论短文本情感分析任务上具有优良的性能。

基于CNN-BiGRU-NN模型的短期负荷预测方法

为充分挖掘蕴含在大量采集数据中的有效信息,提高短期负荷预测精度,提出一种基于卷积神经网络(CNN)和双向门控循环单元(BiGRU)、全连接神经网络(NN)的混合模型的短期负荷预测方法,将海量的历史负荷数据、气象信息、日期信息按时间滑动窗口构造特征图作为输入,先利用CNN提取特征图中的有效信息,构造特征向量,再将特征向量作为BiGRU-NN网络的输入,采用BiGRU-NN网络进行短期负荷预测。以2016年举办的全国第九届电工数学建模竞赛试题A题中的负荷数据作为实际算例,实验结果表明:该方法与DNN神经网络、GRU神经网络、CNN-LSTM神经网络短期负荷预测法相比,有更高的预测精度。

基于堆叠模型的司法短文本多标签分类

司法文书短文本的语义多样性和特征稀疏性等特点,对短文本多标签分类精度提出了很大的挑战,传统单一模型的分类算法已无法满足业务需求。为此,提出一种融合深度学习与堆叠模型的多标签分类方法。该方法将分类器划分成两个层次,第一层使用BERT、卷积神经网络、门限循环单元等深度学习方法作为基础分类器,每个基础分类器模型通过K折交叉验证得到所有数据的多标签分类概率值,将此概率值数据进行融合形成元数据;第二层使用自定义的深度神经网络作为混合器,以第一层的元数据为输入,通过训练多标签概率矩阵获取模型参数。该方法将强分类器关联在一起,获得比单个分类器更加强大的性能。实验结果表明,深度学习堆叠模型实现了87%左右的短文本分类F1分数,优于BERT、卷积神经网络、循环神经网络及其他单个模型的性能。

基于机器学习的水电机组劣化趋势预测模型

水电机组的劣化影响着水电站乃至电力系统的安全稳定运行。为了准确解析水电机组运行状态,获取机组的劣化趋势并对其进行准确预测,本文提出了一种基于极限梯度提升算法、变分模态分解算法、双向门控循环单元神经网络和注意力机制的水电机组劣化趋势预测混合模型。该方法首先用极限梯度提升算法建立考虑工作水头、有功功率和导叶开度影响的水电机组健康状态模型;其次,根据健康状态模型,推导出数年后的水电机组劣化趋势;再次,通过变分模态分解算法对水电机组劣化趋势进行分解,得到多个相对平稳的固有模态函数分量,并对每个模态分量建立双向门控循环单元神经网络和注意力机制的组合模型进行预测;最后,将预测模型的结果进行叠加,得到最终的趋势预测结果。实例分析结果表明,所提方法能准确地表达水电机组的劣化趋势,并且能有效地提高机组劣化趋势的预测精度。

基于RoBERTa-WWM的大学生论坛情感分析模型

大学生论坛语句具有篇幅短、口语化、多流行用语等特点,传统的情感分析模型难以对其进行精准的语义特征表示,并且未充分关注语句的局部特征与上下文语境。提出一种基于RoBERTa-WWM的大学生情感分析模型。通过RoBERTa-WWM模型将论坛文本语句转化为语义特征表示,并将其输入到文本卷积神经网络中,以提取语句的局部语义特征,同时利用双向门控循环单元网络对局部语义特征进行双向处理,获得全面的上下文语义信息。在此基础上,通过Softmax分类器计算语句在情感标签中的概率向量,选择最大值表示的情感标签作为最终输出的情感标签。实验结果表明,相比RoBERTa-WWM、EK-INIT-CNN、BERT等模型,该模型在大学生论坛与NLPCC2014数据集上具有较优的分类性能,并且在大学生论坛数据集上宏平均精准率、宏平均召回率、宏平均F1值和微平均F1值分别为89.43%、90.43%、90.12%和92.48%。