在机器阅读理解任务中,如何在包含不可回答问题的情况下提高答案的准确性是自然语言处理领域的一项重要挑战.虽然基于深度学习的机器阅读理解模型展现出很好的性能,但是这些模型仍然存在抽取特征冗余、语义信息不全面、问题分类任务和...在机器阅读理解任务中,如何在包含不可回答问题的情况下提高答案的准确性是自然语言处理领域的一项重要挑战.虽然基于深度学习的机器阅读理解模型展现出很好的性能,但是这些模型仍然存在抽取特征冗余、语义信息不全面、问题分类任务和答案抽取任务耦合性不强的问题.为了解决以上问题,本文提出一种结合门控机制和多级残差结构的多任务联合训练模型GMRT(Gated Mechanism and Multi-level Residual Structure for Multi-task Joint Training),以提升机器阅读理解任务中答案预测的准确性.GMRT构建门控机制来筛选交互后的关联特征,从而控制信息的流动.采用多级残差结构分别连接注意力机制和门控机制,保证每个阶段都保留原始语义信息.同时,通过边缘损失函数对问题分类任务和答案抽取任务联合训练,确保预测答案过程中任务之间的强耦合性.在SQuAD2.0数据集上的实验结果表明,GMRT模型的EM值和F1值均优于对比模型.展开更多
现有用户画像方法缺乏不同粒度文本信息表示,且特征提取阶段存在噪声,导致构建画像不够准确。针对以上问题,提出一种融合多粒度信息的用户画像生成方法(user profile based on multi-granularity information fusion,UP-MGIF)。首先,该...现有用户画像方法缺乏不同粒度文本信息表示,且特征提取阶段存在噪声,导致构建画像不够准确。针对以上问题,提出一种融合多粒度信息的用户画像生成方法(user profile based on multi-granularity information fusion,UP-MGIF)。首先,该方法在嵌入层融合字粒度、词粒度表示向量以扩充特征内容;其次,在改进双向门控循环单元网络基础上,结合降噪自编码器和注意力机制设计一种特征提取混合模型Bi-GRU-DAE-Attention,实现特征降噪和语义增强;最后,将鲁棒性强的特征向量输入到分类器中实现用户画像生成。实验表明,该用户画像生成方法在医疗和互联网两个画像数据集上的分类准确率高于其他基线方法,并通过消融实验验证了各个模块的有效性。展开更多
文摘在机器阅读理解任务中,如何在包含不可回答问题的情况下提高答案的准确性是自然语言处理领域的一项重要挑战.虽然基于深度学习的机器阅读理解模型展现出很好的性能,但是这些模型仍然存在抽取特征冗余、语义信息不全面、问题分类任务和答案抽取任务耦合性不强的问题.为了解决以上问题,本文提出一种结合门控机制和多级残差结构的多任务联合训练模型GMRT(Gated Mechanism and Multi-level Residual Structure for Multi-task Joint Training),以提升机器阅读理解任务中答案预测的准确性.GMRT构建门控机制来筛选交互后的关联特征,从而控制信息的流动.采用多级残差结构分别连接注意力机制和门控机制,保证每个阶段都保留原始语义信息.同时,通过边缘损失函数对问题分类任务和答案抽取任务联合训练,确保预测答案过程中任务之间的强耦合性.在SQuAD2.0数据集上的实验结果表明,GMRT模型的EM值和F1值均优于对比模型.
文摘现有用户画像方法缺乏不同粒度文本信息表示,且特征提取阶段存在噪声,导致构建画像不够准确。针对以上问题,提出一种融合多粒度信息的用户画像生成方法(user profile based on multi-granularity information fusion,UP-MGIF)。首先,该方法在嵌入层融合字粒度、词粒度表示向量以扩充特征内容;其次,在改进双向门控循环单元网络基础上,结合降噪自编码器和注意力机制设计一种特征提取混合模型Bi-GRU-DAE-Attention,实现特征降噪和语义增强;最后,将鲁棒性强的特征向量输入到分类器中实现用户画像生成。实验表明,该用户画像生成方法在医疗和互联网两个画像数据集上的分类准确率高于其他基线方法,并通过消融实验验证了各个模块的有效性。