大语言模型融合知识图谱的医学问答系统构建研究

大语言模型(LLM)具有强大的学习和推理能力,然而由于缺乏内部知识,该模型面临幻觉挑战。针对医学问答对高质量专业知识的需求,本研究提出一种大语言模型融合知识图谱的医学问答方法,并将其应用于医学科技信息知识服务平台(MedKaaS)的问答系统构建。研究表明,相比传统的知识库问答(KBQA)和新兴的基于生成式大语言模型的问答,本文所提出的大语言模型融合知识图谱的方法充分综合了二者的优势,并为医学问答提供了证据溯源支持,有效提升了医学智能问答质量和医学知识服务效果。

一种基于多模态特征提取的医学视觉问答方法

随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对特定模态特征提取时引入其它模态的噪声特征,使得模型难以关注到不同模态医学影像中的关键特征.针对上述问题,本文提出一种基于多模态特征提取的医学视觉问答方法.首先,对医学影像进行模态识别,根据模态标签指导输入参数不共享的特征提取网络以获得不同模态影像的差异性特征;然后,设计了一种面向Med-VQA的卷积降噪模块以降低医学影像不同模态特征的噪声信息;最后,采用空间与通道注意力模块进一步增强不同模态差异性特征的关注度.在Med-VQA公共数据集Slake上得到的实验结果表明,本文提出方法能有效提高Med-VQA的准确率.

基于知识增强的医学语言模型:现状、技术与应用

目的/意义介绍生成式语言模型在医学领域的应用现状和挑战,并提出一种基于知识增强的医学语言模型,以提高模型专业性、准确性和可信性,为医学、语言模型及知识图谱领域相关研究人员提供参考。方法/过程回顾大语言模型的发展、现状及主要技术,分析其在数据安全、专业性、伦理规范和模型可解释性等方面面临的挑战。介绍医学生成式语言模型常见应用场景和技术要点,重点阐述基于知识图谱和多模态数据融合知识增强的医学语言模型,包括其优势、技术原理和具体案例。结果/结论知识增强的医学语言模型可提高语言模型对专业医学知识的理解、认知和应用能力,增强对自然语言的生成能力,拓展对多模态数据的处理能力,在医疗问答、智能辅助诊断、个性化医疗决策等方面具有广泛应用前景。

基于自然语言处理的医学智能问答系统设计与实现

目的利用医学在线问诊平台积累的大量问诊数据,构建医学智能问答系统。方法基于翻译器制备问题同义语料,利用自然语言处理技术训练ESIM文本匹配模型,采用准确率、召回率和F1-score指标评估模型,采用人工评价的方式,评估医学智能问答系统效果。结果本研究训练的文本匹配模型在测试集上的结果表明,在相似度设置为0.9时,可以尽可能保证返回可接受的答案。结论基于翻译器生成的同义语料搭建文本匹配类医学智能问答模型,是一种利用人工智能解决患者医学问题的可行方法,能够对80%以上的常见问题提供可供参考的答案,有助于减轻医生负担。

一种基于共同注意网络的医学视觉问答方法

最近很多研究提出了医学视觉问答(MVQA)的注意力模型。在医学研究中,不仅“视觉注意力”的建模至关重要,对“问题注意力”进行建模同样具有重大意义。为了在医学图像和问题的注意过程中进行双向推理,本文提出一种新的MVQA架构,称为MCAN。该架构融入一种跨模态共同注意网络FCAF,用于识别问题中的关键词和图像中的主要部分。通过元学习通道注意模块(MLCA)自适应地为每个单词和区域进行权重评定,以反映模型在推理过程中对各个单词和区域的重视程度。此外,本研究专门设计和制作了一种面向医学领域的词嵌入模型Med-GloVe,进一步提升模型的准确率和应用价值。实验证明,本文提出的MCAN架构在Path-VQA数据集的自由形式问题上,准确率提高了7.7%;在VQA-RAD数据集的封闭式问题上,准确率提高了4.4%,有效提升了医学视觉问答的准确性。

基于动态卷积神经网络的医疗智能问答技术研究

目的:基于各种医疗健康信息在线平台积累的大量问诊数据,应用自然语言处理相关技术构建医疗领域智能问答模型,为患者提供服务。方法:采用循环神经网络和动态卷积神经网络抽取问题与答案的文本特征,使用多层全连接神经网络评判二者匹配度以构建问答模型,采用P@1和MAP指标对模型进行评估。结果:模型能在备选答案中准确地辨别出指定问题的正确答案,效果明显优于基线模型。结论:该模型可以准确地回答患者提出的常见医学问题,可作为后期搭建医疗智能问答系统的底层模型。