基于关系模式与深度强化学习的DS数据去噪模型

远程监督(Distant Spervision,DS)数据集中存在大量错误标注的数据,而现有的DS数据集去噪方法通常只考虑针对具有标签的数据进行去噪,没有充分利用无标签数据,导致去噪效果不佳。本文提出一种新型DS数据去噪模型——Pattern Reinforcement Learning Model(PRL模型):首先利用基于关系模式的正样例抽取算法提取DS数据集中高质量的有标签数据;然后利用Filter-net作为分类器,提取DS数据集中高质量的无标签数据;最后将高质量的有标签数据和无标签数据作为深度强化学习(Reinforcement Learning,RL)方法的训练数据集,获得去噪效果更好的远程监督数据集。将PRL模型应用于New York Times(NYT)数据集,并以去噪后的数据集来训练PCNN+ONE、CNN+ATT、PCNN+ATT 3个模型。实验结果表明,经过PRL模型对数据集进行去噪后,这些模型的性能得以提升。因此,PRL模型是一种轻量的数据去噪模型,可以提升基于深度神经网络模型的性能。

自然语言处理中的文本分类研究

在互联网信息时代,文本数据呈指数增长,如何管理和分析海量的文本数据已经成为一项挑战。近年来,自然语言处理领域中的文本分类研究取得了很大突破。本文阐述了自然语言处理领域中研究文本分类任务中使用的方法及研究进展和成果,介绍了从传统机器学习到深度学习的文本分类任务中所使用的模型,并总结和展望了文本分类在自然语言处理领域的发展趋势。