基于词同现频率的文本特征描述

文本的特征描述是文本自动处理的基础工作之一,目前的文本特征描述一般采用加权VSM模型,该模型大都使用统计的和经验的加权算法,该算法方便了计算机对中文文本的相似度计算,但不能很好地揭示文本中词与词的关系。针对此缺点,提出了一种基于词同现频率的加权算法,使得文本的特征向量蕴涵了词与词的相关信息,最后用实验对该算法的效果进行了证明。

基于词同现网络与支持向量机的论文甄别

单词在句子中的交互不是随机的,而是基于一定的规则,这种规则可以通过语言网络进行研究。词同现网络是人类语言网络的一种表现形式,它利用单词在句子中的相邻关系来确定一个连接。文中采用语言网络分析的方法对论文进行甄别:将论文用词同现网络表示,计算网络的特征参数并输出一个向量来表征论文,然后运用支持向量机对论文进行分类。结果表明,使用该方法对高水平的论文和文本发生器产生的论文具有很好的甄别效果,对领域差别大的论文甄别效果也较显著。

汉语词同现网络的小世界效应和无标度特性

人类语言的某些重要方面可以通过复杂网络来刻画。本文基于不同规模和类型的语料库,建立了汉语词同现网络,并从复杂网络的角度对这些网络进行了系统的实验考察。实验结果表明汉语词同现网络具有复杂网络的两个基本性质:(1)网络的平均最短路径为2.63-2.75,聚合系数远大于相同参数下的随机网络,这揭示了汉语同现网络的小世界效应;(2)网络中词的度大体上呈幂律分布,表明汉语同现网络具有无标度特性。本文还对实验中所得到的汉语核心词典进行了定量分析。

基于词同现网络的“一起”与“一齐”比较分析

"一起"和"一齐"是两个意义相近、容易混淆的词,学界已从不同角度对两词进行过比较分析。拟以中等规模的自建语料库为基础,借助语言网络理论对两词进行了考察。研究发现:(1)"一起""一齐"中心性均不高,位于中间偏后的位置;(2)"一起"的中心性要强于"一齐"。通过比较分析,为"一起""一齐"的对比研究提供了更为客观的统计数据。

基于平行词同现网络的语言聚类

考察了在语言精细分类中使用复杂网络以及在基于复杂网络的语言分类中使用平行词同现网络替代句法依存网络的可行性.采用12种斯拉夫语言和2种非斯拉夫语言的平行文本,构建了14个词同现网络.通过这些网络的主要参数的恰当组合,聚类分析能够将斯拉夫诸语言与非斯拉夫语言区分开来,并能将12种斯拉夫语言正确地划分到各自的语支中去.另外,聚类也能反映某些斯拉夫语言在其语支内部的亲缘关系.结果表明,平行词同现网络能够被用于语言的精细分类,而且在基于复杂网络的语言分类中可被用作句法依存网络的一种更为便捷的替代品.

同现词刷新、联想转移和外延的拓展--“打造”和“推出”词义变化原因探析

作为搭配意义类型,"打造"和"推出"两个动词在新时期中它们的意义变化原因首先是新时期中大量用例导致同现词不断刷新,动宾搭配变化导致语言联想的转移,从而引发言语义的变化。"打造"词义演变的结果是派生出比喻义,"推出"则是概念外延的不断拓展导致词义的泛化。两个词意义变化的社会动因是层出不穷的新事物报道对于鼓动性口吻的需求。

中国英语政治新闻的同现词列案例分析

中国英语是一种以规范英语为基础,传达中国特有的文化和思维方式,表达中国社会文化等领域特有事物的英语变体。中国英语政治新闻中有很多意义和结构明晰的同现词列,这些同现词列呈现出本土化特征。对外语学习者来说,充分了解和掌握这些同现词列,有助于提高其英语流利程度。

翻译中同现词语对多义词意义的制约

以Halliday的"共现趋势"为基础,分析翻译中同现词语在词语搭配、语境可变性、语义模糊性等问题上,对一词多义和一物多词这两种形式的多义词在词义选择上的制约与干扰。

一种基于词聚类的中文文本主题抽取方法

提出了一种基于词聚类的中文文本主题抽取方法,该方法利用相关度对词的共现进行分 析,建立词之间的语义关联,并生成代表某一主题概念的用种子词表示的词类。对于给定文档,先进 行特征词抽取,再借助词类生成该文档的主题因子,最后按权重输出主题因子,作为文本的主题。实 验结果表明,该方法具有较高的抽准率。

汉语词网络的抗毁性研究

运用复杂网络理论,基于北京大学语言研究所做出的《人民日报》和国家语委现代汉语的语料库,构建了四个汉语词同现网络;并计算了测度指标。由结果绘制出分布曲线,证实了该词同现网络具有小世界效应和无标度特性。对上述词同现网络进行抗毁性分析,用最大连通子图尺寸下降率和整体效能下降率作为衡量复杂网络抗毁性的指标。实验结果表明对于词同现网中度和介数很大的节点的挖除,会使整个网络破裂为若干孤立的网,将使文章变的支离破碎。从侧面反映了汉语词中的核心词汇,对接下来为研究汉语词中的核心词汇提供了方案。

词汇搭配在语篇中的作用

本文探讨了近几十年对词汇搭配概念的不同理解与分类。搭配已由狭义的语义搭配扩展到广义的语篇中的词项同现。词汇搭配在语篇层面上的功能至少有两个 :语篇衔接和消除歧义。词汇搭配在语篇层面上的衔接功能在教学中往往被忽视。

搭配的语篇视角初探

搭配是一种重要的语言现象.本文论述了搭配的定义、基础,并以韩礼德和哈桑的词汇衔接理论为主线,从语篇的视角对词汇搭配在语篇层面上的两个功能:语篇衔接和消除歧义进行了比较深入的探讨.就目前的理论和技术来说,词汇搭配必须借助于语料库的研究才能更具有科学性,才能最大限度的发挥它的作用.

基于拉普拉斯谱分析的真伪科学论文甄别研究

应用拉普拉斯谱分析方法研究科学论文的词同现网络,从拉普拉斯谱逆序分布、拉普拉斯谱密度、拉普拉斯谱特征值极值三个角度对比分析真伪科学论文词同现网络的拉普拉斯谱特征。通过对比分析发现,真伪论文词同现网络的拉普拉斯谱特征存在明显差别,可以利用这些差别对真伪论文进行甄别。

对COLLOCATION的再认识

本文探讨了近几十年对Ｃｏｌｏｃａｔｉｏｎ概念的新认识及其启示。首先，这个概念可以理解为语义层上词项的习惯搭配。其次，从语篇角度看，它又可理解为词项同现，是形成语篇的重要衔接手段。第三，无论是词项习惯搭配，还是连句成篇的词项同现，都是人脑中心理词汇的重要组成部分。这一认识有助于改进英语教学。