为缓解旅游领域知识分散、信息碎片化的问题,提出一种基于ChatGLM(chat generative language model)和提示微调的实体关系抽取模型ChatGLM-ppt(ChatGLM with prompt and p-tuning)。该模型借助ChatGLM以对话形式完成实体关系抽取任务,...为缓解旅游领域知识分散、信息碎片化的问题,提出一种基于ChatGLM(chat generative language model)和提示微调的实体关系抽取模型ChatGLM-ppt(ChatGLM with prompt and p-tuning)。该模型借助ChatGLM以对话形式完成实体关系抽取任务,并通过P-Tuning v2微调和添加提示模板的方法应对实体关系抽取中错误传播、实体冗余和关系重叠等问题。实验建立在自建的旅游领域数据集上,结果表明:在旅游领域实体关系抽取问题上ChatGLM-ppt模型F 1为92.19%,在处理重叠关系问题中F 1均大于90%,优于目前主流的实体关系抽取模型,证明该模型可有效提高实体关系抽取的准确率。进一步运用Neo4j图数据库构建旅游知识图谱,整合分散的旅游信息资源,对促进旅游业的数字化转型和智能化发展具有一定的参考意义。展开更多
针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with pro...针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with prompt learning,PromptHP)。首先,将编码描述与临床文本融合进提示学习模型中的提示模板,使得模型能够更加深入地理解临床文本;然后,充分利用预训练语言模型的先验知识进行初始预测;接着,在预训练语言模型输出表示的基础上引入超球原型进行类别建模和度量分类,并在医学数据集上微调网络,充分纳入数据知识,提高模型在小样本ICD编码分配任务上的性能;最后,对以上两部分预测结果集成加权获得最终编码预测结果。在公开医学数据集MIMIC-Ⅲ上的实验结果表明,该模型优于最先进的基线方法,PromptHP将小样本编码的macro-AUC、micro-AUC、macro-F_(1)和micro-F_(1)分别提高了1.77%、1.54%、14.22%、15.01%。实验结果验证了该模型在小样本编码分类任务中的有效性。展开更多
文摘为缓解旅游领域知识分散、信息碎片化的问题,提出一种基于ChatGLM(chat generative language model)和提示微调的实体关系抽取模型ChatGLM-ppt(ChatGLM with prompt and p-tuning)。该模型借助ChatGLM以对话形式完成实体关系抽取任务,并通过P-Tuning v2微调和添加提示模板的方法应对实体关系抽取中错误传播、实体冗余和关系重叠等问题。实验建立在自建的旅游领域数据集上,结果表明:在旅游领域实体关系抽取问题上ChatGLM-ppt模型F 1为92.19%,在处理重叠关系问题中F 1均大于90%,优于目前主流的实体关系抽取模型,证明该模型可有效提高实体关系抽取的准确率。进一步运用Neo4j图数据库构建旅游知识图谱,整合分散的旅游信息资源,对促进旅游业的数字化转型和智能化发展具有一定的参考意义。
文摘针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with prompt learning,PromptHP)。首先,将编码描述与临床文本融合进提示学习模型中的提示模板,使得模型能够更加深入地理解临床文本;然后,充分利用预训练语言模型的先验知识进行初始预测;接着,在预训练语言模型输出表示的基础上引入超球原型进行类别建模和度量分类,并在医学数据集上微调网络,充分纳入数据知识,提高模型在小样本ICD编码分配任务上的性能;最后,对以上两部分预测结果集成加权获得最终编码预测结果。在公开医学数据集MIMIC-Ⅲ上的实验结果表明,该模型优于最先进的基线方法,PromptHP将小样本编码的macro-AUC、micro-AUC、macro-F_(1)和micro-F_(1)分别提高了1.77%、1.54%、14.22%、15.01%。实验结果验证了该模型在小样本编码分类任务中的有效性。
