融合attention机制的BI-LSTM-CRF中文分词模型

中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作。深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率?对BI-LSTM的输出权重矩阵进行调节,以提升分词效果。使用改进后的模型对一些公开数据集进行了实验。实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能。

基于去噪字词联合模型的中文命名实体识别

中文命名实体识别是中文信息处理领域中的一项基本任务,能够为关系抽取、实体链接和知识图谱提供技术支持。与传统命名实体识别方法相比,基于双向长短期记忆(BiLSTM)神经网络模型在中文命名实体识别任务中获得了较好的效果。针对基于字词联合的BiLSTM-CRF模型存在特征提取不够准确的缺陷,在其基础上,引入Gated去噪机制,对输入字向量进行微调,自动学习过滤或者减少文本中不重要的字信息,保留对命名实体识别任务更有用的信息,进而提高命名实体的识别率。在Resume和Weibo数据集上的测试结果表明,该方法有效地提高了中文命名实体识别的效果。

基于改进深度信念网络训练的冷轧轧制力预报

在带钢冷轧过程中,轧制力预报精度直接决定板带材的轧制精度以及产品质量。传统的基于单隐层的神经网络建模方法结构简单,对复杂函数的表达能力与泛化能力都受到一定制约;轧制现场环境复杂,数据测量存在噪声干扰,都会直接影响预报精度。针对这些问题,提出一种基于非监督学习的改进深度信念网络预测模型。深层网络的构建以及去噪机制的引入可提高系统对输入数据特征学习的能力,同时采用改进的对比散度算法对网络进行训练,提高网络训练速度。最后,利用某钢厂1200 mm轧机组的实测数据对模型进行检验,对比分析3种不同模型,结果表明该模型对轧制力预测的平均相对误差控制在4.5%以内,建模所需时间相比于栈式自编码网络减少26%。