结合ERNIE2.0的医疗中文命名实体识别模型

针对静态词向量存在无法表示多义词,以及传统深度学习模型特征提取能力不足等问题,提出了结合ERNIE2.0(Enhanced language Representation with Informative Entities 2.0)的医疗中文命名实体识别模型。ERNIE2.0模型通过结合词的上下文具体语境进行动态学习,得到词的动态语义表征,解决了一词多义问题。使用BiSRU模型提取医疗文本高维全局序列特征,软注意力机制用于计算每个词的权重大小,由条件随机场输出命名实体的序列标记结果。在标准化数据集上的实验表明,ERNIE2.0-BiSRU-AT-CRF模型的F1值达到了86.74%,优于实验对比的其他模型,证明了模型的有效性。

结合ERNIE2.0和多尺度网络的数字图书馆文本分类研究

针对单一网络特征提取不全面,词向量语义表示质量较低等问题,提出了结合ERNIE2.0和多尺度网络的数字图书馆文本分类模型(ERNIE2.0 and Multi-Scale Network)。采用预训练模型ER⁃NIE2.0提取文本动态特征表示,提升词向量语义表示的准确性。多尺度网络捕捉全局序列和结构信息以及不同层次的局部语义特征,软注意力机制赋予模型关注到重点词的能力。在图书馆数据集上进行实验,结果表明,ERNIE2.0-MSN-AT模型分类准确率达到了97.85%,高于实验对比模型,多尺度网络优于单一特征提取网络。

基于深度学习的网站类型识别研究

针对目前基础深度学习模型特征提取能力较弱,静态词向量模型无法表示多义词以及网站类型识别准确率不高等问题,提出了基于ERNIE2.0-MCNN-BiSRU-AT的网站类型识别模型。采用ERNIE2.0通过结合当前词的具体上下文语境学习到动态向量表征,解决静态词向量存在的一词多义问题;多特征融合网络全面地捕捉多个尺度下的局部语义和上下文序列特征,软注意力机制计算每个特征对网络分类结果的权重得分,以突出关键分类特征。线性分类层输出网站类型识别结果。在真实网站类型数据集上进行实验,相关结果表明,ERNIE2.0-MCNN-BiSRU-AT模型F1值达到了95.67%,高于实验对比的近期表现优秀的深度学习模型,并通过大量消融对比实验验证了各个功能模块的有效性。