期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
融合局部特征的多知识库常识问答模型
1
作者 田雨晴 汪春梅 袁非牛 《计算机工程与应用》 CSCD 北大核心 2024年第12期129-135,共7页
当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果。另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向... 当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果。另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因素。针对以上问题,提出了一种基于局部特征融合的多知识库常识问答模型,改进外部知识库和问答文本的融合方式。模型将局部的问题和答案特征融入预训练语言模型全局特征,以丰富模型的特征信息,并在预测层结合了多种维度的特征进行预测;模型对于待匹配的问题和答案句子表示进行了白化处理,然后执行匹配任务。通过白化操作,模型增强了句子表示的各向同性,提升了句子向量的表征能力;还探索了不同预训练编码器(如:ALBERT、ELECTRA)在模型上的效果,以加强对知识文本的特征抽取能力,并证明了模型的稳定性。实验结果证明,在相同BERT-base编码器的实验下,模型的准确率达到78.6%,相较于基线模型,准确率提升了3.5个百分点;在ELECTRA-base编码器的实验下,模型的准确率达到80.1%。 展开更多
关键词 常识问答 知识库融合 局部特征融合预测 向量白化
下载PDF
结合预训练模型和语言知识库的文本匹配方法 被引量:10
2
作者 周烨恒 石嘉晗 徐睿峰 《中文信息学报》 CSCD 北大核心 2020年第2期63-72,共10页
针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义-反义词汇知识学习任务和词组-搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习... 针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义-反义词汇知识学习任务和词组-搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。 展开更多
关键词 文本匹配 预训练模型 语言知识库融合
下载PDF
Construction and application of knowledge graph of Treatise on Febrile Diseases 被引量:1
3
作者 LIU Dongbo WEI Changfa +1 位作者 XIA Shuaishuai YAN Junfeng 《Digital Chinese Medicine》 2022年第4期394-405,共12页
Objective To establish the knowledge graph of“disease-syndrome-symptom-method-formula”in Treatise on Febrile Diseases(Shang Han Lun,《伤寒论》)for reducing the fuzziness and uncertainty of data,and for laying a foun... Objective To establish the knowledge graph of“disease-syndrome-symptom-method-formula”in Treatise on Febrile Diseases(Shang Han Lun,《伤寒论》)for reducing the fuzziness and uncertainty of data,and for laying a foundation for later knowledge reasoning and its application.Methods Under the guidance of experts in the classical formula of traditional Chinese medicine(TCM),the method of“top-down as the main,bottom-up as the auxiliary”was adopted to carry out knowledge extraction,knowledge fusion,and knowledge storage from the five aspects of the disease,syndrome,symptom,method,and formula for the original text of Treatise on Febrile Diseases,and so the knowledge graph of Treatise on Febrile Diseases was constructed.On this basis,the knowledge structure query and the knowledge relevance query were realized in a visual manner.Results The knowledge graph of“disease-syndrome-symptom-method-formula”in the Treatise on Febrile Diseases was constructed,containing 6469 entities and 10911 relational triples,on which the query of entities and their relationships can be carried out and the query result can be visualized.Conclusion The knowledge graph of Treatise on Febrile Diseases systematically realizes its digitization of the knowledge system,and improves the completeness and accuracy of the knowledge representation,and the connection between“disease-syndrome-symptom-treatment-formula”,which is conducive to the sharing and reuse of knowledge can be obtained in a clear and efficient way. 展开更多
关键词 Treatise on Febrile Diseases(Shang Han Lun 《伤寒论》) Knowledge graph ONTOLOGY Graph database Knowledge extraction Knowledge fusion
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部