融合XLnet与DMGAN的文本生成图像方法

针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能够捕获大量文本的先验知识,实现对上下文信息的深度挖掘;然后在DMGAN模型生成图像的初始阶段和图像细化阶段均加入通道注意力模块,突出重要的特征通道,进一步提升生成图像的语义一致性和空间布局合理性,以及模型的收敛速度和稳定性。实验结果表明,所提出模型在CUB数据集上生成的图像相比原DMGAN模型,IS指标提升了0.47,FID指标降低了2.78,充分说明该模型具有更好的跨模态生成能力。

基于 XLNet 的农业命名实体识别方法

随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等问题,本文提出了基于XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)的农业命名实体识别模型XLNet-IDCNN-CRF。嵌入层XLNet对于输入文本进行向量化表示,丰富文本的语义信息,缓解一词多义问题,通过编码层迭代膨胀卷积神经网络(Iterated Dilated Convolutional Neural Network,IDCNN)并行计算减少训练时间,获取文本特征信息,结合起来输入到输出层条件随机场模型(Conditional Random Field,CRF)识别标签信息,输出最优序列。本文在自建语料库上准确率达到95.58%,召回率92.36%,F1值93.91%,对比优于其他模型。实验结果表明,XLNet-IDCNNCRF模型能够较好地完成农业命名实体识别任务。

基于XLNet的业务流程下一活动预测方法

预测性业务流程监控侧重于使用事件日志预测正在运行流程的未来特征,针对大多数现有业务流程预测方法的缺点,例如无法捕获序列的长距离依赖、只能单向利用序列信息,提出一种基于XLNet的业务流程下一活动预测方法。该方法实现了长程记忆,并采用注意力掩码重构事件序列,以利用序列的双向信息。通过在4个公开数据集上进行评估表明,该方法的平均准确率具有优越性,且在日志记录充分时,该方法对业务流程下一活动的预测准确率较高,可为业务流程管理系统提供实时的决策依据。

基于XLnet嵌入的中文命名实体识别方法

命名实体识别是自然语言处理的核心任务。在基于深度学习的中文命名实体识别方法中,静态字向量无法表征字的多义性。针对该问题,提出了基于XLnet嵌入的中文命名实体识别方法。该方法首先通过XLnet(Generalized Autoregressive Pretraining for Language Understanding,XLnet)模型获取字级别的上下文表示。其次,利用BiLSTM-CRF模型获取文本依赖信息和标签信息。实验结果表明,该方法在人民日报、MSRA、Boson等3种数据集上分别达到91.9%、89.8%、74%的F1值,均高于其他主流的中文命名实体识别方法。

基于深度学习的中共党史文献命名实体识别研究

[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/过程]本研究采用基于Trie树的字符串匹配算法完成实验语料的批量标注任务,利用中文XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)预训练模型嵌入主流BiLSTM-CRF模型中,构建基于XLNet-BiLSTM-CRF的中共党史文献命名实体识别模型。[结果/结论]该模型在命名实体识别中表现优异,其调和平均数F值为0.9535,高于BiLSTM-CRF、BERT-BiLSTM-CRF、BERT-wwmext-BiLSTM-CRF、XLNet-CRF等深度学习模型。研究表明本文提出的方法对于中共党史非结构化文本挖掘工作具有可行性和有效性。