英汉疑问词位置差异的优选分析

优选论认为普遍语法是一系列可违反的限制条件。这些限制条件在不同的语言中有着不同的排列顺序,也就产生了不同语言的不同句法形式。英汉语中疑问词的不同位置主要是由于OP-SPEC和STAY这两个限制条件在英汉语中有着不同的排列顺序。当OP-SPEC高于STAY时就出现英语中疑问词在句首的现象,而当STAY高于OP-SPEC时,就像汉语那样疑问词留在原位。

基于ERNIE及改进DPCNN的棉花病虫害问句意图识别

针对目前没有公开的棉花病虫害相关问句数据集且问句较短、类型多样等问题,本研究通过查阅文献及咨询相关领域专家,构建了棉花病虫害问句数据集CQCls,定义了78种棉花病虫害实体和9种问句类型;同时提出了一种基于ERNIE预训练模型的棉花病虫害问句意图识别模型,首先通过ERNIE模型将输入问句映射到向量空间,使用融合词位置信息的DPCNN模型进行特征向量的抽取,与基础的DPCNN模型相比,通过融合词位置信息能有效提高模型的表达能力,然后经过Softmax得到最终结果。实验结果表明,本研究提出的意图识别模型相较于其他模型取得了较好的结果,宏平均和加权平均的F1分数值分别为97.45%和97.31%;在文本语料数据内容复杂多样且文本格式不规范的DMSCD数据集上,训练结果中不同类别的F1分数的权重平均也能达到73.42%,进一步证明了该模型的有效性及泛化能力。

基于词条属性聚类的文本特征选择算法

文本挖掘之前首先要对文本集进行有效的特征选择。传统的特征选择算法在维数约减及文本表征方面效果有限,并且因需要用到文本的类别信息而不适用于无监督的文本聚类任务。针对这种情况,设计一种适用于文本聚类任务的特征选择算法,提出词条属性的概念。首先基于词频、文档频、词位置及词间关联性构建词条特征模型,重点研究了词位置属性及词间关联性属性的权值计算方法,改进了Apriori算法用于词间关联性属性权值计算;然后通过改进的K-means聚类算法对词条特征模型进行多次聚类完成文本特征选择。实验结果表明,与传统特征选择算法相比,该算法在获得较好维数约减率的同时提高了所选特征词的文本表征能力,能有效适用于文本聚类任务。

基于词内部模式的新词识别

提出一种基于词内部模式的新词识别算法,该算法在重复串查找的基础上,结合词内部模式的特征提出改进位置成词概率和首尾单字成词概率的加权,依次判断互信息、邻接类别等统计量,对新词进行识别。通过不同的实验对比发现,该算法在一定程度上能有效提取新词。

融合多因素的TFIDF关键词提取算法研究

为了能更加准确、快速地提取文本中的关键词,首先需要对待提取的文本进行数据清洗,去掉其中的噪声数据,接着对文本进行分词操作,在去掉停用词的基础上,综合考虑词语的位置、词性、词语关联性、词长和词跨度等因素,将这些因素与经典的TFIDF关键词提取算法相结合,采用不同权重的方法得到最终的词语权重,按照词语权重从大到小取得前5个词作为文本的关键词。以本校图书馆提供的8045篇《红色中华》新闻为源数据,从准确度、召回率及F1值三个指标对文中算法、经典的TFIDF算法和专家标注进行对比,发现文中算法在三个指标上均优于经典的TFIDF算法,与专家标注比较接近。

基于Python的改进关键词提取算法的实现

关键词提取是自然语言研究领域的基础和关键点,在很多领域都有广泛的应用。以本校图书馆提供的8045篇《红色中华》新闻为源数据,首先对数据进行数据清理,去除其中的噪声数据,然后对每篇新闻进行数据结构解析,在解析的基础上计算了词语的TFIDF权重、词位置权重、词性权重、词长权重和词跨度权重,综合考虑这些权重计算出词语的综合权重,以综合权重最大的前8个词语作为新闻的关键词。从准确度、召回率及F1值3个指标对改进算法、经典的TFIDF算法和专家标注进行对比,发现改进算法在3个指标上均优于经典的TFIDF算法,与专家标注比较接近,值得推广应用。

改进的增量词集频率主题词提取算法

为了解决基于增量词集频率的主题词提取算法不能提取合成词的问题,在原算法的基础上增加了文本预处理环节,即合成词识别。采用基于词性探测和词共现有向图算法识别文本中的合成词,并对分词结果进行修正。生成候选主题词集时,考察每个词的出现位置,根据不同的出现位置赋予不同的权重;然后累加获得同一个词的总权重,并按权重从高到低生成候选主题词集。提取主题词时逐个考察候选主题词集中的每一个候选主题词,计算其对主题词集权重的增量,若增量小于给定阈值,则主题词提取算法结束;否则将该候选主题词加入主题词集。实验结果表明,该算法取得了较好的效果,所获得的主题词能更贴切地反映文档的主题内容,主题词满意度比原算法提高了5个百分点。

一种基于统计的地质专业词语识别方法

中文分词是地质大数据智能化知识挖掘难以回避的第一道基本工序。基于统计的分词方法受语料影响,跨领域适应性较差。基于词典的分词方法可以直接利用领域词典进行分词,但不能解决未登录词识别问题。在领域语料不足的情况下,为提高地质文本分词的准确率和未登录词识别率,提出一种基于统计的中文地质词语识别方法。该方法基于质串思想构建了地质基本词典库,用以改善统计分词方法在地质文本分词上的适应性。采用重复串查找方法得到地质词语候选集,并使用上下文邻接以及基于位置成词的概率词典,对地质词语候选集进行过滤,最终实现地质词语识别。实验结果表明,使用该方法对地质专业词语识别准确率达到81.6%,比通用统计分词方法提高了近60%。该方法能够识别地质文本中的未登录词,并保证地质分词的准确率,可以应用到地质文本分词工作中。

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注,以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题,提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型(LWAOA-LSTM)。首先,为词向量加入位置权重信息;然后,使用长短期记忆(LSTM)网络同时对方面和句子进行建模以生成方面表示和句子表示,同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注,并自动关注句子中的重要部分;最后,在景点、餐饮、住宿不同主题数据集上进行实验,验证了该模型对方面情感分析的准确性。实验结果表明,所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%,取得了比传统LSTM网络模型更好的效果。

“副+名”讨论补议

文章对三种“副+名”用例中的相关词——“凡”、“只”、“位置词”进行了分析,指出:该三种词在词类划分或归类上存留一些问题,因此作为“副+名”例证,用以证明副词可以修饰名词,是缺乏说服力的。另外,“很+名”的组合视为副词修饰名词也不妥,应看作词类活用现象。

英、汉存现句的相似性论证

存现句是强调人或物在特定时间或地点的存在,具有特殊的句法模式,表现了人或物的存在或状况。英汉两种语言中的存现句具有相似点,即相同的信息结构,相同的动、名词短语的语序,相同的语义和语段功能,都可以作为句子的成份,而且语义都受到限制。

基于改进位置成词概率的新词识别

提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词.

自定步调学习时间的习惯性反应:来自眼动的证据

习惯性反应指学习者根据自身阅读习惯来进行学习时间分配,它通常由词对位置这一外部线索激发。研究运用眼动记录技术,采用Metcalfe范式探讨词对位置和难度对学习时间分配的影响,以检验自定步调学习时间的习惯性反应。结果发现:(1)在自定步调总学习时间上,学习者倾向于对难度越大的项目分配越多的学习时间;(2)在前期自定步调学习进程上,当词对位置为易-中-难条件时,学习者倾向于优先在容易项目上分配较多的学习时间,接着是中等难度项目,最后是困难项目;当词对位置为难-中-易条件时,结果相反。这说明学习者的自定步调总学习时间受项目难度驱动,而前期自定步调学习时间受习惯性反应影响。

基于改进的向量空间模型的自动文本分类

研究了基于向量空间模型的自动文本分类方法,提出了位置权和词的位置区分度的概念,给出了一个带有位置信息的词权重计算方法,并给出了基于该方法的文本分类算法.实验结果表明,该方法是有效的,提高了文本分类的精度.

基于Lucene的XML文件相似度检索系统

经分析研究开源的Lucene系统架构以及特殊xml数据源,针对Lucene搜索得分公式的不足,提出了结合词项位置和二次检索的公式,设计一种文本搜索系统;并以提高检索性能、相似性搜索的准确率、索引的空间效率和支持查询的时间效率为目标进行实验,最后通过部署Tomcat服务器实现.经实验验证,改进的系统较之于原Lucene系统提高了建立索引效率、查询效率、准确率.

词位置分布加权TextRank的关键词提取

【目的】将词在文档内的词距和位置分布信息融入Text Rank模型,改进单文档关键词提取效果。【方法】基于Text Rank方法构建候选关键词词图,融合一般文档写作结构中词之间的位置分布信息,计算概率转移矩阵,通过迭代计算候选关键词得分,并挑选分值最大的前K个作为关键词提取结果。【结果】实验结果表明,词位置分布加权的Text Rank方法优于传统的Text Rank方法。当K分别取3、5、7和10时,F值与最优方法相比分别提升1.29%、2.42%、5.43%和5.88%。【局限】未使用知识库,外部词汇关系信息没有被充分利用。【结论】词在文章中位置分布信息能够改善关键词提取效果。

A Study on the Word Formation of Noun-Classifier Compound Words

Chinese noun-classifier compound words show different properties in lexical meaning and syntactic collocation. The complexity of these compounds lies in the grammaticalization of classifiers’ system. Some nouns used as classifiers in the position of classifier are not grammaticalized into real classifiers which are temporary classifiers. So some of them are real noun-classifier compounds and some belong to noun-noun compounds. This paper attempts to analyze the structural relation between noun morpheme and classifier morpheme within the word. It also explains that the noun and the classifier compound in the position of light noun in the nP structure.

汉语框架卫星语素探析

在Talmy类型学中,动词的框架卫星语素表征宏事件核心图式,是决定宏事件表征形式类型学特征的重要参数。通过定性研究发现,汉语此类卫星语素:1)常出现在动结式、动趋式和位置词短语中,表征运动、体相、状态变化、行为关联和实现五类宏事件核心图式;2)包括动结式的结果补语、动趋式的趋向补语、个别空间位置词以及方位构式等;3)有不同表征方式,呈现出动态性:一方面,同一卫星语素可以表征不同类别宏事件的不同核心图式;另一方面,不同卫星语素可以表征同一宏事件的同一核心图式的不同语义成分。

Detection of nitrogen-overfertilized rice plants with leaf positional difference in hyperspectral vegetation index

The main objective of this work was to compare the applicability of the single leaf(the uppermost leaf L1 and the third uppermost leaf L3) modified simple ratio(mSR705 index) and the leaf positional difference in the vegetation index between L1 and L3(mSR705L1-mSR705L3) in detecting nitrogen(N)-overfertilized rice plants.A field experiment consisting of three rice genotypes and five N fertilization levels(0,75,180,285,and 390 kg N/ha) was conducted at Xiaoshan,Hangzhou,Zhejiang Province,China in 2008.The hyperspectral reflectance(350-2500 nm) and the chlorophyll concentration(ChlC) of L1 and L3 were measured at different stages.The mSR705L1 and mSR705L3 indices appeared not to be highly sensitive to the N rates,especially when the N rate was high(above 180 kg N/ha).The mean mSR705L1-mSR705L3 across the genotypes increased significantly(P<0.05) or considerably from 180 to 285 kg N/ha treatment and from 285 to 390 kg N/ha treatment at all the stages.Also,use of the difference(mSR705L1-mSR705L3) greatly reduced the influence of the stages and genotypes in assessing the N status with re-flectance data.The results of this study show that the N-overfertilized rice plants can be effectively detected with the leaf positional difference in the mSR705 index.