基于阅读理解智能问答的RPR融合模型研究

基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本,然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答,但这种方法遇到原文中不存在的答案片段或需要对原文总结后回复这两种情况时不能很好解决,而使用预训练模型进行生成式模型训练,这种生成式回复在一定程度上解决了需要总结原文才能回答的问题。因此,改进了只采用RoBERTa-wwm-ext模型进行抽取答案的方式,在此基础上融合了基于RAG模型的生成式问答模型,用于回答RoBERTa-wwm-ext等抽取式模型无法处理的问题。同时,吸取了PGN模型的优点,对RAG模型进行改进得到RPGN子模型,可以更好地利用阅读理解的文章生成合理的答案。由此,提出RPR(RAG、PGN、RoBERTa-wwm-ext)的融合模型,用于同时处理抽取式问题任务和生成式问答任务。

基于易感人格语言特征的抑郁风险分析与预测

目的:基于社交媒体数据,探究易感人格语言特征与抑郁风险之间的关系,为抑郁预防与心理健康服务提供依据。方法:通过Python爬取新浪微博用户在2016-2021年的原创微博文本,并用易感人格与“文心”词典提取词类特征,构建多种机器学习模型进行抑郁分析与预测。结果:抑郁与非抑郁两类用户在易感人格语言的使用上存在显著差异,表现为抑郁用户在以下5维度的词频上显著高于非抑郁用户:封闭防御(F=700.32,P<0.001)、敏感好胜(F=671.50,P<0.001)、自我专注(F=590.09,P<0.001)、退让顺从(F=514.05,P<0.001)、严谨认真(F=48.57,P<0.001);其次,基于易感人格特征进行抑郁预测,在准确率、精确率及F1分数上比“文心”高出0.4%~6.5%。本文考虑到两类特征可能存在互补性,合并两词典中所有显著的特征,在梯度提升树分类器上预测效果最好,准确率达83.9%,F1分数达82.4%。结论:本文开发的抑郁易感人格词典性能良好,提取的语言特征有利于解释抑郁的成因,且能较为准确地对抑郁风险进行自动预测。