基于大规模问答对数据的查询扩展技术研究

查询扩展是信息检索领域中的一个热门话题,其目标是将与初始查询词相关的其他单词添加到初始查询请求中,以更详细地描述用户的信息需求.本文将查询过程视为特殊的问答过程,并基于此思想提出一种新的查询扩展方法.本文的贡献主要有以下几点：① 借助统计语言模型从大规模问答对数据中挖掘单词之间的扩展关系,并根据单词间的扩展关系对候选扩展词进行评级;② 提出一个新的查询扩展词选取策略,以克服已有查询扩展方法仅依赖评级的扩展词选取策略的不足.通过在真实数据集合上的实验,证明本文提出的查询扩展方法可以取得优于传统方法的性能,具有一定的实用性.

融合知识图谱和语义匹配的医疗问答系统

问答系统是自然语言处理领域中的一项重要任务,常应用于医疗服务。传统的问答系统通过知识图谱的实体关系匹配返回相应的尾实体作为答案,然而,倘若实体或关系无法识别,又或者在知识图谱中并不存在相应的实体关系,问答将无法继续进行。为了解决这一问题,建立一种融合知识图谱和语义匹配模型的中文医疗问答混合系统。当所提问题无法在知识图谱中进行实体关系匹配时,该模型能继续从问答对数据集中找到最相似的问题,并返回相应结果作为答案。在语义匹配模型方面,结合中文医疗相似问题对,在Sentence-BERT模型上进行微调训练,并引入双曲空间中的距离度量函数对句子对进行相似度度量。结果表明:在整体性能方面,所提模型相较于BERT这类大语言模型精度能提升7.16%;在度量能力方面,双曲度量相较于通用欧氏空间度量,如余弦度量,最高能有2.28%的精度提升和1.58%的F_1值提升。

基于大规模问答对数据的问题检索模型

根据用户提交的查询请求,利用统计语言模型计算查询请求和问句之间的相似度,确定用户查询词所代表的信息需求,由此从海量数据中检索出可以满足该信息需求的问答对,并使用答案质量评估模型对其进行评估。实验结果表明,该问题检索模型可以根据用户请求提供具有较高质量的问答对答案。

面向知识库问答的多注意力RNN关系链接方法

针对知识库问答场景中的关系链接任务,尤其是面向复杂问题的多关系链接任务,提出一种基于多注意力RNN模型的关系链接方法,该方法既适用于简单问题也适用于复杂问题.首先,在字符及词级别基础上通过Bi-LSTM模型学习问句的向量表示,利用条件随机场模型标注问句中的命名实体.基于词典生成候选实体,基于预定义规则实现候选实体消歧,将问句中命名实体指称链接到知识库中实体.然后,采用机器学习方法将问句分类为简单问题及复杂问题.从已识别实体出发,对于简单问题,在知识库中收集一跳关系作为候选关系;对于复杂问题,收集二跳关系作为候选.最后,采用多注意力Bi-LSTM模型对问句及候选关系进行编码,比较相似度,返回相似度最高的候选关系作为关系链接的结果.值得注意的是,对于简单问题采用带有一个注意力的Bi-LSTM模型,对于复杂问题则采用带有2个注意力的Bi-LSTM模型.实验结果表明:在有效的实体链接方法基础上,引入注意力机制的Bi-LSTM关系链接方法对于无论简单问题还是复杂问题效果都有所提升,且优于现有基于图算法或基于语言学的关系链接方法.

大模型驱动的科技政策法规问答系统研究

科技政策法规问答系统(Q&A)在帮助公众理解和应用科技法规方面发挥关键作用。大语言模型(LLM)可以显著提升科技政策法规问答系统的准确性和效率。然而,基于大语言模型的科技政策法规问答系统仍然存在以下问题:缺乏大规模高质量的科技政策法规问答数据集,且现有自动构建大规模数据集的方法在引用和整合政策法规知识方面存在不足;问答系统在处理科技政策法规问题时,专业性、准确性不足且模型知识更新滞后。为解决这些问题,提出了一种检索增强自提示的问答数据集构建方法,并构建了一个大规模高质量的科技政策法规问答数据集;同时,构建了科技政策法规问答系统,该系统结合了经过低秩自适应(LoRA)微调技术优化的大语言模型与科技政策法规知识库,并运用提示学习技术,来引导系统生成准确的答案。实验结果显示,构建的问答数据集在引用和整合科技政策法规知识方面,比传统方法构建的问答数据集有显著提升;相较于通用大语言模型驱动的问答系统,该问答系统在各项指标上也有明显提高。

面向问题生成的预训练模型适应性优化方法研究

问题生成的核心任务是“在给定上下文语境的前提下,对目标答案自动生成相应的疑问句”。问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求。目前,预训练语言模型已在不同自然语言处理任务中得到广泛应用,并取得了较好的应用效果。该文继承这一趋势,尝试将预训练语言模型UNILM应用于现有“基于编码和解码架构”的问题生成系统中,并集中在其适应性问题上开展研究。该文针对预训练模型在解码阶段频繁出现的“暴露偏差”和“掩码异构”问题,分别研究了基于随机抗噪和迁移学习的训练方法,借以提升UNILM在问题生成过程中的适应能力。同时,该文在SQuAD数据集上开展问题生成实验,实验结果证明,随机抗噪和迁移学习都能优化UNILM的解码性能,使之在答案可知场景的数据划分split1和split2上,分别将BLEU4指标提升到20.31%和21.95%;并在答案不可知场景的split1数据集上将BLEU4指标提升到17.90%。

面向复杂查询请求的SQL自动生成模型

将自然语言自动转换成恰当的SQL语句是基于关系数据库智能问答系统的核心,而一个SQL语句执行后能否得到期望的查询结果在很大程度上取决于where子句的表达是否正确.目前,大多数Text2Sql算法只利用了数据库表的列语义向量来提取where子句中出现的值,但是当where子句中存在多列多值时往往无法准确地提取对应的值.本文提出的一种神经网络模型———2-SQL,将提取where子句中值的方式改进为范式转变模式.通过对运算符和值进行枚举,生成一系列的候选查询条件组合,再采用Transformer模型将查询请求语句与查询条件组合进行语义匹配,来实现对候选查询条件的筛选.实验表明,与现有Text2Sql相比较,2-SQL对复杂查询where子句中出现的值的提取具有较好的效果.