基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于RoBERTa-Span-Attack的标签指针网络军事命名实体识别

军事领域文本中存在大量军事实体信息,准确识别这些信息是军事文本信息提取和构建军事知识图谱的基础性任务。首先,提出了一种基于RoBERTa预训练模型、跨度和对抗训练的标签指针网络的融合深度模型(RoBERTa-Span-Attack),用于中文军事命名实体识别;然后,采用了一种基于Span的标签指针网络,同时完成实体的起止位置和类别的识别任务;最后,在模型训练过程中加入对抗训练策略,通过添加一些扰动来生成对抗样本进行训练。在军事领域数据集上的实验结果表明:所提出的军事领域命名实体识别模型相较于BERT-CRF、BERT-Softmax和BERT-Span,在识别准确度上具有更优的效果。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

知识图谱技术在预测与健康管理中的应用现状与研究展望

随着预测与健康管理(PHM)技术的不断发展以及设备智能化、信息化程度的不断提高,预测与健康管理的领域知识与日俱增。知识图谱技术因其强大的知识组织、管理、表示能力以及支持的数据/知识驱动相关方法,受到领域内学者广泛关注。面向预测与健康管理领域,对知识图谱的概念、关键技术、领域应用以及挑战与展望进行了综述。首先,介绍了领域知识图谱的定义和组成要素;其次,讨论了领域知识图谱的构建方法,简要归纳了领域内常用的构建方式和技术;然后,结合领域内知识特点,详细介绍了领域内知识图谱的应用情况;最后,分析了与领域融合的知识图谱研究中存在的挑战以及未来的发展方向。综述旨在帮助研究者加深对知识图谱及其在预测与健康管理领域应用的了解,以促进知识图谱在该领域应用中的进一步发展和创新。

AMFRel:一种中文电子病历实体关系联合抽取方法

中文电子病历实体关系抽取是构建医疗知识图谱,服务下游子任务的重要基础。目前,中文电子病例进行实体关系抽取仍存在因医疗文本关系复杂、实体密度大而造成医疗名词识别不准确的问题。针对这一问题,提出了基于对抗学习与多特征融合的中文电子病历实体关系联合抽取模型AMFRel(adversarial learning and multi-feature fusion for relation triple extraction),提取电子病历的文本和词性特征,得到融合词性信息的编码向量;利用编码向量联合对抗训练产生的扰动生成对抗样本,抽取句子主语;利用信息融合模块丰富文本结构特征,并根据特定的关系信息抽取出相应的宾语,得到医疗文本的三元组。采用CHIP2020关系抽取数据集和糖尿病数据集进行实验验证,结果显示:AMFRel在CHIP2020关系抽取数据集上的Precision为63.922%,Recall为57.279%,F1值为60.418%;在糖尿病数据集上的Precision、Recall和F1值分别为83.914%,67.021%和74.522%,证明了该模型的三元组抽取性能优于其他基线模型。

汽车故障知识图谱构建及应用研究

知识图谱技术对汽车高效的故障诊断具有重要的意义,现有汽车故障知识图谱构建存在着实体识别模型效果不佳、无法解决嵌套实体等问题。针对上述问题,通过采用全词掩码的预训练语义模型、加入对抗训练和改进嵌套实体识别模型的方式提高实体识别模型效果,提出了一种改进的嵌套实体识别模型。实验结果表明,所提模型F1值(F_(1))、精确率(P)和召回率(R)相比基线模型分别提高了3.56%、4.08%、3.05%,相比其他模型也有不同程度的提高,验证了所提模型对汽车维修领域实体识别具有显著效果。同时,基于构建的汽车故障知识图谱,实现了汽车故障知识智能问答原型系统,展示了知识图谱技术在汽车故障诊断与维护领域的应用前景。

联合多意图识别与语义槽填充的双向交互模型

意图识别与语义槽填充是口语理解的两个主要任务,两者具有高度相关性,通常进行联合训练。随着口语理解任务的深入,研究发现用户在现实场景中的话语往往含有多个意图。但部分联合模型只能识别用户话语中的单个意图,未能充分建模多个意图和语义槽之间的关联性。考虑到话语中多个意图的信息可以引导语义槽填充,语义槽信息也可以帮助意图更好的识别,模型采用图注意力网络建立意图和语义槽之间的双向交互。具体的,将两个任务双向关联以便模型能够挖掘多个意图与语义槽之间的关系,同时引入两个任务的标签信息使模型能够学习到话语上下文和标签的关系,从而提高意图识别与语义槽填充的准确率,优化口语理解的整体性能。实验表明,模型在MixATIS和MixSNIPS两个多意图数据集上对比其他模型性能得到了显著提升。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

共情对话研究进展

人工智能驱动的对话是当前研究热点,有着广泛的应用前景。但目前这类对话系统普遍缺乏情感交互能力,限制了其在心理关爱、抑郁症等精神障碍疾病方面的应用。如何让对话系统充分理解用户情绪并生成带有共情的回复是目前对话系统面临的主要挑战之一。首先介绍了共情对话研究中情感感知和共情对话生成两大挑战,并分别调研归纳了相关研究方法。情感感知任务大致可分为基于规则、基于机器学习和基于深度学习三类方法,共情对话生成大致可分为基于检索和基于动态生成两类方法。接着介绍了共情对话的最新发展动向,并总结了共情对话数据集、通用对话数据集和多模态数据集的特点和链接,归纳了当前共情对话研究中不同的评估方法便于后续研究。最后对共情对话的研究工作进行了总结和展望。

基于BERT与生成对抗的民航陆空通话意图挖掘

针对民航陆空通话领域语料难以获取、实体分布不均,以及意图信息提取中实体规范不足且准确率有待提升等问题,为了更好地提取陆空通话意图信息,提出一种融合本体的基于双向转换编码器(bidirectional encoder representations from transformers,BERT)与生成对抗网络(generative adversarial network,GAN)的陆空通话意图信息挖掘方法,并引入航班池信息对提取的部分信息进行校验修正,形成空中交通管制(air traffic control,ATC)系统可理解的结构化信息。首先,使用改进的GAN模型进行陆空通话智能文本生成,可有效进行数据增强,平衡各类实体信息分布并扩充数据集;然后,根据欧洲单一天空空中交通管理项目定义的本体规则进行意图的分类与标注;之后,通过BERT预训练模型生成字向量并解决一词多义问题,利用双向长短时记忆(bidirectional long short-term memory,BiLSTM)网络双向编码提取上下句语义特征,同时将该语义特征送入条件随机场(conditional random field,CRF)模型进行推理预测,学习标签的依赖关系并加以约束,以获取全局最优结果;最后,根据编辑距离(edit distance,ED)算法进行意图信息合理性校验与修正。对比实验结果表明,所提方法的宏平均F_(1)值达到了98.75%,在民航陆空通话数据集上的意图挖掘性能优于其他主流模型,为其加入数字化进程奠定了基础。

基于业务流程的认知图谱

针对目前软件项目开发过程中无法充分利用已有业务资源,进而导致开发效率低、能力弱等问题,通过研究业务资源之间的关联,提出一种基于业务流程的认知图谱。首先,通过正式文档抽取业务知识,提出建立知识层级的方法并修正;其次,通过代码特征挖掘与代码实体相似度判断构建代码网络表示模型;最后,利用实际业务数据进行实验验证,并与向量空间模型(VSM)、多样化排序和深度学习等方法进行对比。最终构建的基于业务流程的认知图谱在代码检索方面优于目前基于文本匹配的方法和深度学习算法,分别在前5准确率(precision@5)、平均精度均值(mAP)、归一化折扣增益值(?-NDCG)这3项指标上高过多样化排序的代码检索方法4.30、0.38和2.74个百分点,有效解决了潜在业务词汇识别、业务认知推理表示等多个问题,提升了代码检索效果与业务资源利用率。

基于知识图谱的高速列车知识融合方法

为解决高速列车各领域知识之间关联不明、难以检索和应用等问题,首先分析高速列车多源异构知识的组织形式,并结合高速列车产品结构树和阶段领域,构建高速列车领域知识图谱模式层和知识图谱;其次,通过双向编码变换器-双向长短期记忆网络-条件随机场(BERT-BILSTM-CRF)模型进行实体识别,得到阶段领域本体的映射;然后,将高速列车实体属性分为结构化和非结构化2类,并分别使用Levenshtein距离和连续词袋模型-双向长短期记忆网络(CBOW-BILSTM)模型计算相应属性的相似度,得到对齐实体对;最后,结合高速列车产品编码结构树进行映射融合,构建高速列车领域融合知识图谱.应用本文方法对高速列车转向架进行实例验证的结果表明:在命名实体识别方面,基于BERT-BILSTM-CRF模型得到的实体识别准确率为91%;在实体对齐方面,采用Levenshtein距离、CBOW-BILSTM模型计算实体相似度的准确率和召回率的调和平均数(F1值)分别为82%、83%.

基于GAN和MS-ResNet的房颤自动检测模型

房颤是一种常见的心律失常疾病,针对现有研究工作大多依赖于单尺度信号段而忽略了不同尺度下潜在的互补信息和数据不平衡问题导致诊断性能下降的问题,提出了一种新颖的基于生成对抗网络(generative adversarial network, GAN)和多尺度残差网络(multiscale residual net, MS-ResNet)的房颤自动检测模型,该网络使用GAN合成具有高形态相似性的单导联心电数据来解决数据的隐私和不平衡问题。同时,设计了MS-ResNet特征提取策略,从不同尺度提取不同大小信号段的特征,从而有效地捕捉P波消失和RR间期不规则特征。该模型联合这两种策略不仅为房颤自动检测生成高质量心电图(electrocardiogram,ECG)数据,还可以利用多尺度网格提取不同波之间的时序特征。在PhysioNet Challenge2017公开ECG数据集上以及平衡后的数据集上评估了MS-ResNet的性能,并将其与现有的房颤分类模型进行了比较。实验结果表明,MS-ResNet在平衡后的数据集上平均F1值和精确率分别达到0.914 1和91.56%,与不平衡数据集相比,F1提高了4.5%,精确率提高了3.5%。

大模型驱动的学术文本挖掘--推理端指令策略构建及能力评测

大型语言模型突出的任务理解和指令遵循能力,使用户可以通过简单的指令交互完成复杂的信息处理任务。科技文献分析领域正在积极探索大模型的应用,但尚未形成对指令工程技术和模型能力边界的系统性研究。本文以学术文本挖掘任务为切入点,从上下文学习、思维链推理等角度设计推理端指令策略,构建了涵盖文本分类、信息抽取、文本推理和文本生成4个能力维度共6项任务的大模型学术文本挖掘专业能力评测框架,并选取了7个国内外主流的指令调优模型进行实验,对比了不同指令策略的适用范围和不同参数模型的专业能力。实验结果表明,少样本、思维链等复杂指令策略在分类任务上的应用效果并不显著,而在抽取、生成等难度较高的任务上表现良好。千亿级参数规模的大模型经过指令引导,能够取得与充分训练的深度学习模型相近的效果,但对于十亿级或百亿级规模大模型,推理端的指令策略存在明显上限。为了实现大模型向科技情报领域的深层嵌入,现阶段仍需在调优端对模型参数进行领域化适配。

基于知识图谱的通信服务潜在不满意预测系统研究

针对通信服务不满意用户进行预测分析,是减少用户离网的重要手段之一。基于此,通过知识图谱构建通信服务潜在不满意预测系统,紧扣用户潜在不满意预测的实际业务需求,显著提升基于知识图谱的通信服务潜在不满意预测准确率,发现用户潜在的不满意情况,避免高价值用户流失,支撑电信运营商精益运营和用户服务质量提升。

医学领域知识融合研究进展

医学领域知识融合旨在将分散在各个知识图谱或不同数据源中的医学知识进行整合,形成一个更全面的知识图谱,在提高知识质量、扩大规模、提高医学知识利用率和共享性等方面具有促进作用。围绕知识融合的问题和解决方案,首先系统地梳理了医学领域知识融合的定义、评价指标及数据集;分类讨论了知识融合过程中存在的问题与挑战;然后从问题、技术两个维度,综述了目前知识融合中实体对齐、实体链接任务各方法的优势与不足;详细讨论和总结了医学领域知识融合每一类问题的相关解决方案;最后,总结并展望了医学领域知识融合的发展方向。

基于1DCNN融合多源表型数据的杨树干旱胁迫评估方法

目前关于不同杨树品种抗旱性的研究主要集中在利用传统测量方法获取形态结构和生理生化表型参数进而分析杨树的抗旱性,依据多源成像传感器提取的表型参数指标确定杨树干旱胁迫等级的方法较为少见。为了阐明杨树耐旱的表型机制、筛选抗旱性树种和明确杨树抗旱等级,本文以杨树不同性别的喜水和耐旱品种为研究对象,在杨树苗期进行梯度干旱胁迫处理,通过热红外以及RGB多源成像传感器获取杨树冠层温度参数与颜色植被指数表型数据,并建立基于1DCNN的多任务分类模型划分杨树苗期品种抗旱等级与干旱胁迫等级等2个分类任务,探究杨树性别与生长时间对杨树干旱胁迫响应机制的影响。结果表明,以27组数据变量降维后的4个特征作为模型变量,与传统机器学习算法SVM、RF、XGBoost相比,本文提出的1DCNN多任务分类模型在杨树品种抗旱等级分类与单株干旱胁迫等级分类2个任务中的模型分类精度皆达到最优,分类准确率分别为81.8%和62.3%;引入杨树的性别和生长时间后共6个特征作为模型的输入变量后,杨树苗期品种抗旱等级与干旱胁迫等级的分类精度显著提高,1DCNN多任务分类模型在2个分类任务中的准确率分别达到93.5%与76.6%,模型分类准确率分别提高11.7个百分点与14.3个百分点。研究结果表明,通过热红外与RGB成像传感器获取多源表型数据,并建立1DCNN多任务分类模型对实现杨树干旱胁迫等级评估的可行性,同时表明杨树的性别和生长时间作为模型输入变量能够有效提升模型的分类精度,可为筛选杨树抗旱性品种提供新的思路与方法。

面向机器阅读理解的边界感知方法

针对现有的基于预训练语言模型的答案获取方法存在预测边界不够准确的问题,提出一种面向片段抽取式机器阅读理解(MRC)的边界感知方法。首先,在问题输入阶段引入特殊字符标记问题边界,通过增强问题语义信息的方式实现对问题边界的感知;其次,在答案预测阶段,构建答案边界回归器,实现感知的问题边界语义信息与输出的预测答案边界语义信息的语义交互;最后,通过交互后的语义信息进一步调整存在偏差的预测答案边界,实现对预测答案的校准。实验结果表明,与SpanBERT(Span-based Bidirectional Encoder Representation from Transformers)相比,该方法在公共数据集SQuAD(Stanford Question Answering Dataset)1.1上的F1值提升了0.2个百分点、精确匹配(EM)值提升了0.9个百分点;在HotpotQA(Hotpot Question Answering)数据集上的F1值和EM值都提升了0.7个百分点;在NewsQA(News Question Answering)数据集上的F1值提升了2.8个百分点、EM值提升了3.3个百分点。可见,该方法能有效增强对问题边界信息的感知并且实现对预测答案边界的校准,有利于更好地理解和分析文本数据,在智能问答、智能客服等领域的应用中提高系统的准确性。

基于密度聚类算法改进的语义主路径分析方法研究

语义主路径分析方法在改进传统主路径分析法中主路径内容单一、主题一致性较差等不足的同时,留下了两个缺陷,即所选主路径在语义空间的位置可能偏离主题聚簇中心、不同主路径的主题区分度并不明显。本文在语义主路径分析方法的基础上,提出一种逐步优化的主路径选择方法,即将主题聚簇密度和路径遍历权重进行叠加形成复合密度,通过调节复合密度中两个要素的比重来优化主题聚簇中心的定位,当聚簇中心的位置变化收敛后,将位于不同主题聚簇中心的路径作为结果输出。将本文方法分别用于电动汽车锂离子电池专利引文网络和材料科学领域高影响力论文引文网络,实验结果显示,本文方法所产生的多条主路径不仅在主题聚簇中的布局更加合理,而且选取不当主路径的可能性也大大降低,从而验证了本文方法的有效性。

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。