基于增强语言表示模型的网络新闻长文本分类的研究

基于网络实时新闻内容数据,对一份具有时效的中文长文本数据集进行了新闻主题分类。利用年度关键词增强的分词方案提升分词精度,采用一种长文本压缩方法处理中文长文本的特殊数据,具体方法为选择关键句并利用TF-IDF算法提取长文本中关键词,再将组合的新文本进行词向量训练。最后,采用增强的语言表示模型进行新闻主题分类,并与6种机器学习和深度学习模型进行对比评估,评价指标为召回率、准确率、精度和F1分数等。实验结果表明:本文的模型可通过提取16个重要词对实时新闻长文本进行有效的分类。

基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别研究

为充分利用安徽省土壤肥力指标数据,解决现有土壤肥力命名实体识别方法普遍存在的效率低、迁移能力较差以及长文本处理影响效果等问题,文中提出了一种基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别方法,并构建了一套安徽省土壤肥力知识问答系统。首先将土壤肥力数据集中的长文本处理为短文本,对土壤肥力信息使用ERNIE模型编码,得到保留语义关联的词表示形式,再利用BiLSTM模型进行特征提取,对一切可能的标签序列评分并输出给CRF模型,最后使用CRF模型解码获取分数最高的标签序列,生成实体标签序列。结果表明,与HMM模型、CRF模型、BiLSTM模型、BiLSTM-CRF模型相比较,本文使用的基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别方法,准确率P达到92.85%、召回率R达到92.00%、F1值达到92.59%,取得了相对较好的识别效果。

金庸小说中主角复杂爱情模式的识别与分析

该文提出了一种基于复杂网络分析方法的小说人物关系识别模型。通过以金庸14部武侠小说的分析过程为样例,首先提出了基于小说社会网络关系的降噪分析框架,然后在此基础上构建了人物亲密度评估与关系判别模型,最后给出了一种识别小说主角复杂爱情模式的通用模型。实验发现该模型能够有效地分析出小说中的复杂爱情模式,且在保证识别效率的同时还具备较高的精准度。在模型训练时,设置了变尺度窗口,发现随着窗口的变小,模型识别的主角复杂爱情模式呈现出召回率会不断上升至稳定,同时精确率则会维持相对稳定至超过一个阈值后不断下降这一重要现象。该文提出的复杂爱情模式识别框架,不仅对长文本小说人物关系分析具有较好的借鉴意义,还可以应用于判断小说精彩性和小说内容个性化推荐的图书决策支持系统。