基于词典词语量化关系的中文文本分割方法

随着Internet网络资源的快速膨胀,海量的非结构化文本处理任务成为巨大的挑战。文本分割作为文本处理的一个重要的预处理步骤,其性能的优劣直接影响信息检索、文本摘要和问答系统等其他任务处理的效果。针对文本分割中需要解决的主题相关性度量和边界划分策略两个根本问题,提出了一种基于词典词语量化关系的句子间相关性度量方法,并建立了一个计算句子之间的间隔点分隔值的数学模型,以实现基于句子层次的中文文本分割。通过三组选自国家汉语语料库的测试语料的实验表明,该方法识别分割边界的平均错误概率■和最低值均好于现有的其他中文文本分割方法。

中文问答对过滤方法研究

问答对过滤是准确自动获取问答对的关键。提出针对领域和面向句子的中文问答对过滤方法,结合句法结构关系和领域特征,选取句子主干与领域词汇作为分类特征,采用贝叶斯分类学习方法进行领域问答对过滤;根据中文语言相关性,融合句法、词法及语义要素,计算句子与问答对相关性,以相关性为基础,过滤面向句子相关的问答对。实验结果表明,提出的过滤方法均取得了较好的效果,相对传统过滤方法,能够提高问答对过滤的准确率。

融合回答者排序得分的CQA答案摘要方法

针对现有答案摘要方法对句子建模不够充分,并且忽略了回答者相关信息在摘要过程中的作用,提出了融合回答者排序得分的CQA答案摘要方法。首先,使用RoBERTa-wwm结合平均池化对句子进行编码获取句子深层语义表示;然后,使用DUM专家推荐方法依据回答者相关信息对回答者进行排序,依据排序结果求得回答者排序得分;最后,综合句子相关性、句子新颖性、回答者排序得分计算句子综合得分,根据句子综合得分使用MMR思想迭代选取句子构成答案摘要。实验表明,使用RoBERTa-wwm结合平均池化能更好地获取到答案句的深层语义信息,综合3个评分选取摘要句既能考虑答案与问题、答案与答案间的交互,也能较好地融入回答者的信息,有效地改善了答案摘要的质量。