融合Sentence-BERT和LDA的评论文本主题识别

[目的/意义]为了解决评论文本主题识别时语义描述不充分以及学习到的主题语义连贯性不强等问题。本文将Sentence-BERT句子嵌入模型和LDA模型相结合,提升评论文本主题的语义性。[方法/过程]采用Sentence-BERT模型获取评论文本句子层面的向量特征,同时,采用LDA模型获取评论文本的概率主题向量,随后使用自动编码器连接两组向量,运用K-means算法对潜在空间向量进行聚类,从类簇中获取上下文主题信息。[结果/结论]通过对评论文本数据集的实验,本文方法可以较好地获得具有语义信息的主题词。Sentence-BERT模型与LDA结合,增加了模型的复杂性。通过对比,本文方法获得的主题一致性指标(Coherence)优于目前常见的评论文本主题识别方法。

基于Sentence-LDA主题模型的短文本分类

短文本特征稀疏、上下文依赖性强的特点,导致传统长文本分类技术不能有效地被直接应用。为了解决短文本特征稀疏的问题,提出基于Sentence-LDA主题模型进行特征扩展的短文本分类方法。该主题模型是隐含狄利克雷分布模型(Latent Dirichlet Allocation, LDA)的扩展,假设一个句子只产生一个主题分布。利用训练好的Sentence-LDA主题模型预测原始短文本的主题分布,从而将得到的主题词扩展到原始短文本特征中,完成短文本特征扩展。对扩展后的短文本使用支持向量机(Support Vector Machine, SVM)进行最后的分类。实验显示,与传统的基于向量空间模型(Vector Space Model,VSM)直接表示短文本的方法比较,本文提出的方法可以有效地提高短文本分类的准确率。

怒苏语的话题句研究

怒苏语有话题,还有话题标记mɑ35 kuɑ31(省略形式为kuɑ31)。本文对怒苏语中部方言知子罗话话题句的构成、特点等做了一个比较全面的描写和分析。根据有无话题标记,把怒苏语的句子分为话题句和非话题句两种。根据话题标记的多少,话题句又可以分为简单句和复杂句(包括连用、总分、套用三种类型)两类。怒苏语中话题句和非话题句并存、“话题-述题”和“主语-谓语”并存。

多层级信息增强异构图的篇章级话题分割模型

话题分割是自然语言处理领域的基础任务之一,按照话题相关性原则将文本分割为多个话题相关的文本块。针对现有话题分割模型提取句子深层语义信息方面明显不足,并且忽略了篇章中的层次信息和上下文交互等问题,提出了一种多层级信息增强异构图的篇章级话题分割模型MHG-TS。该方法利用篇章中的句子和关键词构建异构图网络,引入BERT预训练语言模型捕获图中节点的深层语义特征,在句子节点一阶邻域层级,利用图注意力机制为语义关联的节点分配更大的边权重,增强了一阶邻域中语义关联节点的信息交互;在关键词节点层级,引入关键词信息加强句子语义特征表示;在句子高阶邻域层级,利用关键词节点作为中介,构建了句子节点高阶邻域中的跨句信息交互,丰富了句子节点之间的非序列关系,最终通过融合多层级信息实现包含全局语义信息的句子表示。相较于当下流行的模型,在多个数据集上,三个评价指标性能平均值分别提高了3.08%、2.56%、5.92%,取得了最佳的实验结果。

安徽金寨方言拷贝式话题句及其语用意义

根据句法表现,金寨方言拷贝式话题句分为对举类和非对举类两类。根据分句之间语义逻辑关系,对举类拷贝式话题句有表示并列、顺承和转折三类;非对举类拷贝式话题句有表示顺列和转折两类。从整体性的角度出发,指出安徽金寨方言拷贝式话题复句具有体现言语行为经济性、评论性和否定性、以及维持言语行为互动平衡性等三方面的语用意义。

话题后语气词的句法定位及功能

汉语话题分为移位话题与非移位话题。非移位话题又可细分为有复指成分话题和无复指成分话题。在句法位置上,话题后语气词总位于非移位话题之后,它处于句法—语用的接口位置,超越了严格意义上的句法范畴,属于语用范畴。在语法功能上,话题后语气词表现出具有很强的主观交互性,具有明显的语用功能。其中语气词“啊”具有“互动功能”,语气词“吧”具有“礼貌功能”,语气词“嘛”具有“询问功能”,语气词“呢”具有“焦点凸显功能”。

Review of Research on English Translation of Chinese Running Sentences

In order to convey complete meanings,there is a phenomenon in Chinese of using multiple running sentences.Xu Jingning(2023,p.66)states,“In communication,a complete expression of meaning often requires more than one clause,which is common in human languages.”Domestic research on running sentences includes discussions on defining the concept and structural features of running sentences,sentence properties,sentence pattern classifications and their criteria,as well as issues related to translating running sentences into English.This article primarily focuses on scholarly research into the English translation of running sentences in China,highlighting recent achievements and identifying existing issues in the study of running sentence translation.However,by reviewing literature on the translation of running sentences,it is found that current research in the academic community on non-core running sentences is limited.Therefore,this paper proposes relevant strategies to address this issue.

基于密度Canopy的评论文本主题识别方法

融合Sentence-BERT和LDA的评论文本主题识别(SBERT-LDA)方法,将LDA的主题数作为K-means算法中的k值,导致算法可解释性较差、主题一致性较低。为了解决上述问题,提出基于密度Canopy的SBERT-LDA优化方法(SBERT-LDA-DC),利用密度Canopy改进Kmeans算法。实验结果表明,提出的方法在一致性指标上要优于使用K-means以及K-means++对特征向量聚类的同类方法;与SBERT-LDA方法相比,在1852条戏剧评论数据集上,一致性指标值提高了22.9%。因此,所提出的SBERT-LDA-DC方法是有效的,对产品或服务提供者更好地了解用户意见、完善自身产品或提升服务水平提供了新方法,具有较强的实际应用价值。

从现象句和判断句看主语与话题关系

主语与话题关系问题近年来业已成为汉语语法研究的老大难。根据日本学者的研究,现象句与判断句乃是直接对应于主语与话题的两种表达类型。文章以汉语中典型的现象句与判断句为窗口,就主语与话题的同异,从认知基础、语用功能、语法特征等角度作了深入考察。在此基础上,文章对主语与话题关系的三种观点作了不无必要的再检讨,指出:“同一观”忽视陈述对象已知与未知的区别,“平行观”存在方法上的缺憾,“交叉观”较为符合实际;同时指出,话题特征实由语用要求所决定,没有丝毫迹象显示话题会最终放弃动态话语调节者身份而转变为静态句法成分。文章并就析句时如何正确反映话题与主语以及其他成分关系作了再讨论。基于主语与现象句、话题与判断句只是大体对应而非完全吻合,今后的有关研究除了需要充分利用现象句与判断句的窗口作用,还需加强对焦点前置句、儿歌句、谜语句的学术探讨。

基于话题链的流水句零形回指语篇连贯

汉语流水句的语篇连贯是在宏观和微观两个层面来实现的。从宏观层面来讲,流水句通过话题链从整体上达到语篇连贯,奠定流水句连贯的基础平;从微观层面来讲,流水句往往通过零形回指的策略让读者识别隐含在小句之间的逻辑关系,从细节上达到语篇连贯。两个层面共同发挥作用,实现流水句意义的统一性和语篇的连贯性。

汉语移位式话题结构中的逆向回指及其中介语处理研究

包含回指词的受事话题成分是汉语执行话题化操作的非论元成分,而由此生成的长距离汉语话题结构具备填充词-空位句法依存关系,因此其二语在线理解的时间进程可以验证中介语语法表征的实质性特点。据此实施的自定步速阅读研究结果显示:与汉语母语者相比,成人二语者在线句子处理的速度显著减慢、用时显著增多,可能的原因在于成人二语者运用结构信息的能力非常有限,而且其处理策略和处理程序均非优化的本族语选项。中间空位在中介语语法中的缺失说明二语者并不能为汉语移位式话题结构构建出具有层级性的结构表征,而二语句子处理则可能主要采用直接联系的语义策略。研究结论支持汉语受事宾语话题句衍生而成的理论分析,而原位生成观既不符合语法理论构建的经济性也与汉语以SVO为主导语序的语言直觉并不一致。

汉语流水句形成的语言类型学机制

汉语流水句是一种没有关联标记的意合型复句,和以英语为代表的印欧语系相比,流水句是汉语中特有的句法形式。本文从英汉语言对比的视角,基于语言类型学的相关理论,通过实例语料分析,从汉语的形态类型、句法类型及主语类型多维度探求汉语流水句形成的内在机制。研究发现:汉语缺乏丰富的形态标记,主语和谓语并不是句子必要的构成成分,话题与谓语动词没有严格意义上的语法选择关系是流水句的形成的深层原因。

结合主题和位置信息的两阶段文本摘要模型

预训练模型BERT显著提升了文本摘要领域模型的性能,但是其在探索文档全局语义方面和对句子位置信息的利用方面还存在着不足。为了解决以上问题,本文提出了一种结合双主题嵌入和句子绝对位置嵌入的两阶段自动摘要生成模型。首先,文章在两个阶段分别引入主题嵌入,融合了丰富的语义特征,以捕获更准确的全局语义;其次,在抽取式阶段引入句子绝对位置嵌入将句子位置信息进行完全整合,获得更全面的摘要抽取辅助信息以进行摘要提取;在此基础上,模型采用抽取-生成两阶段混合式摘要框架,通过抽取阶段对文本重要信息的提取降低生成摘要内容的冗余性,并进一步提高了模型的性能。在CNN/Daily Mail数据集上实验结果表明,本文提出的模型取得了较好的结果。

融合主题信息的篇章级神经机器翻译

目前的神经机器翻译方法以句子为单位作为输入,在翻译过程中不能有效利用篇章级上下文的信息,影响了机器翻译的性能.为解决现有机器翻译框架下的上下文信息缺失问题,提出一种融合主题信息的篇章级神经机器翻译方法.首先,将源语言当前句子与源语言的前一句分别独立输入到源语言句子编码器和上下文编码器中;然后,采用注意力机制将2个编码器的输出映射为最终的上下文表,结合源语言句子编码器输出通过门控机制得到具有上下文信息和当前句子融合表征,同时将词嵌入后的源语言句子输入基于Bi-GRU和卷积神经网络的主题表征编码器映射为主题表征;最后,将融合后的句子表征以及主题表征分别通过2个串联的注意力机制参与解码.实验结果表明,该方法能够提高篇章级神经机器翻译的性能,相较于基准系统,该方法在BLEU值上最高提升了0.55个百分点.

面向科研基金项目名称短文本的学科交叉主题识别方法

[研究目的]针对科研基金项目名称,挖掘学科间的交叉主题,发现新的学科增长点,是一项具有实际意义的研究任务。基金名称构成的短文本数据集具有稀疏性和不规则性,已有方法在处理短文本数据上效果不佳。[研究方法]使用预训练模型BERT结合传统的共词分析方法,获得潜在的学科交叉词集,筛选出具有学科交叉性质的基金项目名称,再利用句向量模型Sentence-BERT获得项目名称的句向量表示,最后使用聚类算法k-means得到学科交叉主题。[研究结论]通过对国家社会科学基金“图书馆、情报与文献学”和“新闻学与传播学”两个学科的项目名称进行分析,并与已有基于词向量模型word2vec和聚类算法DBSCAN的学科交叉主题挖掘方法进行对比,实验结果表明本研究提出的基于Sentence-BERT的学科交叉主题识别方法得到的结果可解读性更强,研究主题更明确,为学科交叉主题识别贡献新思路。

“美学语法”的对读——中西美学命题对接中的标记转换与逻辑复敏

“美学语法”为中西美学理论的对接问题引入了一个新的维度,借助美学命题逻辑结构与话语表述之间的张力可以超越语义层基本相同的指称意义,进入到语法层与逻辑层的深度不对等性之中。西方美学命题以“S是P”为基本例程,通过语法标记来表达本质判断、分类背景和知识质态中的逻辑关系。汉语通过有限的结构递系和二维的结构递归呈现多层动态套叠的逻辑形式,是一种包含命题“主谓”分析式但又不相等的更高层次的对称耦合结构,其所构筑的宇宙生命结构模式也是中国美学命题的逻辑基础与审美理想。中西美学命题对接中语法标记的转换以及逻辑结构的复敏有助于重新理解中西美学理论体系之间的合理关系,直面“言外之意”如何有效地运作于“传情达意”,不仅为西方美学理论如何调和感性经验和逻辑表述的冲突提供了有益的参照,也为中国传统美学精神的现代转换提供了一个重要契机。

基于组合范畴语法的周遍句歧义消解

指人的周遍性成分后跟副词“也”“都”时,即:“NP1+NP2+都(也)+VP”结构。在某些条件下,该结构的语句会有话题句和焦点句两种歧义解读。如“张三谁都认识”。“也”“都”必须向左搜寻成分,使得疑问代词“谁”表达全称,再加上焦点句主宾动的语言结构,函项不得不二次向左寻找论元,加大了组合难度。通过中文分词和组合范畴语法词性标注,放大词汇颗粒度,给“谁都”指派范畴并匹配语义,利用组合规则,生成话题句和焦点句的两种解读,从而实现周遍句歧义消解。

主题模型LDA的多文档自动文摘

近年来使用概率主题模型表示多文档文摘问题受到研究者的关注.LDA(latent dirichlet allocation)是主题模型中具有代表性的概率生成性模型之一.提出了一种基于LDA的文摘方法,该方法以混乱度确定LDA模型的主题数目,以Gibbs抽样获得模型中句子的主题概率分布和主题的词汇概率分布,以句子中主题权重的加和确定各个主题的重要程度,并根据LDA模型中主题的概率分布和句子的概率分布提出了2种不同的句子权重计算模型.实验中使用ROUGE评测标准,与代表最新水平的SumBasic方法和其他2种基于LDA的多文档自动文摘方法在通用型多文档摘要测试集DUC2002上的评测数据进行比较,结果表明提出的基于LDA的多文档自动文摘方法在ROUGE的各个评测标准上均优于SumBasic方法,与其他基于LDA模型的文摘相比也具有优势.

基于加权TextRank的新闻关键事件主题句提取

为了在大量的新闻中快速找到自己感兴趣的内容,提出在单文档中基于加权TextRank算法提取主题句的方法,以得到新闻关键事件信息。通过计算新闻文本句子关键词的互信息值,对新闻报道进行事件句和非事件句的分类,过滤出非事件句。基于TextRank算法的思想,构建一个事件句有向图,引入句子位置、句子相似度和关键词覆盖频率3个影响因子,以此计算句子之间的影响权重,利用TextRank模型对图中的每个点计算权重,并选取排序最靠前的句子作为关键事件的主题句。实验结果表明,该方法的抽取效果优于基于词频-逆文档概率和新闻标题的主题句抽取方法。