基于语义特征空间上下文的短文本表示学习

文本表示是自然语言处理中的基础任务,针对传统短文本表示高维稀疏问题,提出1种基于语义特征空间上下文的短文本表示学习方法。考虑到初始特征空间维度过高,通过计算词项间互信息与共现关系,得到初始相似度并对词项进行聚类,利用聚类中心表示降维后的语义特征空间。然后,在聚类后形成的簇上结合词项的上下文信息,设计3种相似度计算方法分别计算待表示文本中词项与特征空间中特征词的相似度,以形成文本映射矩阵对短文本进行表示学习。实验结果表明,所提出的方法能很好地反映短文本的语义信息,能对短文本进行合理而有效的表示学习。

自编码网络短文本流形表示方法

针对短文本分类任务中文本表示存在的高维稀疏问题,提出基于自编码网络的短文本流形表示方法.通过自编码网络重构文本得到流形映射,提取短文本的流形特征,实现非线性降维.根据标签与多篇文本在高维观测空间的全局映射关系,对已有流形映射进行整体调整,扩充短文本信息得到最佳流形表示模型,使用该模型得到短文本流形表示.结合SVM、KNN、Nave-Bayes 3种分类算法,该方法在公开数据源的Macro_F1均超过97.8%,分类效果优于VSM、LDA、LSI.结果表明,该模型生成的流形表示能以非稀疏形式更准确地描述短文本特征信息,使分类效果得到显著提升.

语义增强的在线学习行为预测研究

当前学习者的在线学习行为预测研究未充分利用短文本中的语义数据,导致对学习者的学习状态刻画不够全面,严重影响了行为预测的准确性.针对此问题,本文提出了语义增强的在线学习行为预测方法.首先,利用双向长短时记忆网络得到到短文本的语义向量表示;其次,基于学习者的统计、行为和短文本数据得到学习者的特征表征,并利用长短时记忆网络模型构建其学习状态表征;最后,利用学习状态表征预测学习者的学习行为.在11门真实在线课程数据集上的实验表明,本文方法能过有效提升在线学习行为预测的精确度.