舆情事件向量预训练模型

目前舆情预测研究中,事件表示具有一定的主观性和静态性,没有充分表达出事件演化的动态性和演化性,很多特征需要通过分析事件发展的完整过程得到,导致构建的预测模型并不能实现舆情现象发生前的预警目的。构建了事件预训练模型,实现基于评论数据的事件特征向量自动生成,并用于训练下游舆情反转预测模型。结合事件的主观评论与时序信息,通过构造评论词、事件词向量、事件词、事件句,将抽象的事件特征向量生成问题转换为自然语言预处理问题,基于Transformer结构提出了一种新的建模方式,实现事件特征向量自动生成及舆情反转预测。提出的模型用于舆情反转预测下游任务时,在测试集中对反转事件的预测率达到100%,实现了反转点之前预测出反转现象的目的。同时,该预测模型还可以较为准确地预测生成第二天的事件句,在对测试集的n折交叉验证中仅有11%的事件出现了预测误差,为研究舆情演化相关问题提供数据和方法基础。

基于KMeans-EDA算法的非均衡评论情感分类研究

学习者真实的评价是反映在线课程优缺点的重要指标,快速准确地获得其反馈,对于在线课程的优化极为重要。为深入挖掘学习者的在线学习行为,继而为在线教学提供有效的数据基础,爬取了中国大学MOOC平台的课程评论文本,基于Bert模型的结构,建立了基于自注意力文本表征的机器学习模型,能够实现对评论文本的精确情感分类,从而获得学习者内隐的情感状态。由于爬取数据中负面评论较少,故设计了KMeans-EDA自适应均衡采样训练策略,解决了训练过程中模型偏向多数类的问题,提升了模型对负面评论的识别能力。实验结果表明,该策略可以将模型对评论文本的F1-score值从0.6902提升到0.7399。

面向图文匹配任务的多层次图像特征融合算法

现有主流的利用预训练卷积神经网络提取图像特征的方法存在仅使用单层预训练特征表征图像和预训练任务与实际研究任务不一致的问题,使得现有图文匹配方法无法充分利用图像特征,极易受到噪声特征干扰。针对上述问题,使用了预训练网络中的多层特征,并提出了多层次图像特征融合算法。在图文匹配的学习目标指导下,利用多层感知机(multi-layer perceptron)有监督地融合和降维多层次的预训练图像特征,生成融合图像特征,从而充分利用预训练特征,减少噪声干扰。实验结果表明,提出的融合算法可实现对预训练的图像特征更有效的利用,相比于使用单层次特征的方法能获得更好的图文匹配效果。