融入事件知识的主题表示方法

主题模型已被广泛用于发现文档潜在主题.已有方法多采用词或短语来表示主题,然而这些方法生成的主题缺乏深层次的语义信息,可解释性比较差.文中提出使用结构化的事件来表示主题.一方面,事件包含比词或短语更丰富的语义;另一方面,一组相关的事件能更合理地解释并区分不同的主题.为解决事件作为基本单元所带来的稀疏性问题,该文在Biterm Topic Model(BTM)的基础上提出两种主题模型,采用两种不同的方式将事件的语义知识融入到主题生成过程中.其中,第1种模型利用Generalized Pólya Urn(GPU)模型天然的聚类效果加大语义相近的事件分配到同一主题的概率,而第2种模型则通过为每个biterm引入指示变量,合理地利用语义知识有效地解决同一个biterm中两个事件的主题分配问题.该文不仅从主题凝聚度和KL散度两个指标直接对主题模型进行评估,还通过将主题表示结果引入到文本分类任务中对模型进行了外部评估.实验结果表明文中提出的模型从共现和语义两个层面有效地解决了事件稀疏性问题.与基于词或短语的主题表示相比,事件结构所包含的语义信息提高了主题生成质量,使主题表示具有更强的可读性和主题判别性.

基于结构化事件的主题表示

基于词袋的主题模型其最终主题表示存在着表意不清、可读性差等问题,为解决此问题,提出将事件作为文档和主题描述的基本元素进行主题建模。鉴于事件的稀疏性,采用基于Biterm的主题模型,并在主题推断时结合generalized Pólya urn(GPU)模型加入事件间关联性的先验知识进行指导监督,从共现和语义两个层面削弱了事件稀疏性对主题生成的负作用。实验结果表明,该算法得到的主题可解释性较好且聚类效果提升明显。

基于深度学习的热点事件主题表示研究

【目的】探究如何针对热点事件进行主题表示学习,检验主题表示模型在主题分类和主题相关度等任务上的效果。【方法】融合LDA2Vec方法构建主题表示学习模型W-LDA2Vec,通过联合训练初始化后的文档向量和词向量以预测中枢词的上下文向量,获得含有主题信息的词表示和包含上下文信息的主题表示。【结果】在热点事件主题分类任务上,本文模型取得了最高的F1值(0.893),较4种基线模型LDA、Word2Vec、TEWV和Doc2Vec分别提升0.314、0.057、0.022和0.013;在热点事件主题相关度任务上,当主题数为10时,本文模型取得了较高的相关性分数(0.462 5),较LDA模型提高0.067 8。【局限】实验语料库仅限于中英文两种语言。【结论】本文方法通过将主题信息嵌入到词表示、文档表示中,能够有效提升在热点事件主题分类和主题相关度等任务上的效果。

一种基于词义降维的主题特征选择算法

在文本特征选择中,由于词语概率空间和词义概率空间的差异,完全基于词语概率的主题特征往往不能很好地表达文章的思想,也不利于文本的分类。为达到主题特征更能反映文章思想这一目的,提取出一种基于词义降维的主题特征选择算法。该算法通过在词林基础上构建"同义词表",作为词到词义的映射矩阵,构造一个基于词义之上的概率分布,通过LDA提取文本特征用于分类,分类准确率得到了明显提高。实验表明,基于此种方法所建立的主题模型将有更强的主题表示维度,通过该算法基本解决文本特征提取中词语概率和词义概率之间差异的问题。

主题增强的多层次图神经网络会话推荐模型

基于会话的推荐旨在基于会话内数据,为匿名或未登录用户做出推荐.现有的研究工作通常仅以会话中单个商品作为最小单位进行建模,忽略商品在不同感受野下的表征.同时,尚未挖掘会话序列中蕴含的商品隐式主题信息.为了缓解上述问题,文中提出主题增强的多层次图神经网络会话推荐模型(Topic-Enhanced Multi-level Graph Neural Network for Session-Based Recommendation,TEMGNN).首先,设计多层次商品嵌入学习模块,拓宽商品的感受野,获取不同粒度下的商品表示.然后,结合文中提出的多层次图神经网络进行同粒度和跨粒度下的商品信息传播,捕获更丰富的商品嵌入表征.此外,提出商品主题学习模块,在不依赖任何商品属性信息的前提下,抽取商品在隐空间下的主题共性,并以显式的向量空间投影方式自动形成商品的主题表示,用于增强模型推荐性能.在3个基准数据集上的实验表明,TEMGNN的表现较优.

基于句子级上下文内容的神经机器翻译方法

传统的神经机器翻译方法在忽略句子层面语境的情况下,利用词层面语境来预测目标语的翻译,这有利于统计机器翻译中的翻译预测;但由于词的主题往往是根据句意和上下文动态变化的,存在一词多义等复杂情况;这会导致翻译的不准确;因此,利用卷积神经网络将句子级上下文表示为潜在的主题表示,并设计了一个主题关注度模型,将源句子级主题上下文信息集成到基于Attention和基于Transformer的神经机器翻译方法中;实验结果表明,提出的方法的BLEU评分最高大约等于40。

摘要及关键词的书写要求

论著及调查分析类文章需附中英文摘要,摘要格式要以结构式书写,包括研究目的、方法、结果和结论4要素。摘要中不用图、表、化学结构式、非公知公用的符号和术语,不列图表,不引用文献,不加解释和评论,以第三人称书写。中文摘要一般300个汉字左右,英文摘要250个实词左右，英文摘要一般与中文摘要内容对应。英文摘要应包括题名、作者姓名、单位名称、所在城市名称、邮政编码及国名。