一种基于全Hash的整词二分词典机制

为提高整词二分词典机制的分词效率,分析现有分词词典机制,提出一种基于全Hash的整词二分词典机制。该机制将首字相同的词条按字数分组,并进行全词Hash,对Hash值相同的词条进行二分查找,从而减少词条匹配的次数。理论分析和实验结果表明,该机制的分词效率较高。

汉语合成词的整词词形表征

关于汉语合成词的表征方式历来存在争论:是分解式表征还是整词式表征?文章阐述了整词式表征存在的心理可能性和实验证据,并指出该表征由语音、语义和字形三种不可分割的表征形式构成。前人研究表明,合成词在语音和语义层面可能拥有整词表征,但目前鲜有研究探讨整词词形表征存在的合理性。据此,文章试图寻找考察整词词形表征的研究范式及可能影响汉语合成词词形表征特点的语言因素。

语素和整词在初级汉语二语者合成词语音识别中的作用研究

通过比较语素和整词语音识别的正确率,探讨语素信息和整词信息在初级阶段的汉语二语学习者合成词识别中的作用。结果发现,对于初级阶段的汉语二语学习者,整词语音识别的正确率显著高于语素的语音识别率,这说明整词信息在合成词识别中发挥了重要作用;同时,合成词的结构类型影响合成词的识别,汉语初学者对并列式合成词的语音识别更依赖整词信息。

蒙古文整词编码研究

作者基于蒙古文黏着记录其词汇方式和按书面音节拼读书写整词规则 ,提出了蒙古文整词编码方法。本文依据可计算性理论 ,提出了拼音文字非键盘映射编码方法 ,将整词编码分为输写码与计算码。整词输写码设计模仿传统蒙古文整词固有拼读书写规则 ,达到了最佳人机键盘交互目的。整词计算码既可载荷整词复杂特征知识信息、又可保证信息的可计算性 。

蒙古文整词计算机生成理论研究

采用面向对象方法 ,模拟传统蒙古文整词各种形式构成机理 ,提出了几种蒙古语整词计算机生成数据模型。文章主要依据整词计算机生成三种模型 ,探讨了传统蒙古文整词计算机最优化生成理论所涉及的精确度、时间复杂度、空间复杂度三项基本要素以及最优化生成必须考虑的整词复杂特征载荷与一体化合一计算知识表示方法和计算结构 ,证明了“B -J -T=W”数据模型是传统蒙古文整词计算与生成最优化对象模型。

基于HMM的联机维吾尔文整词识别方法研究

提出一种维吾尔文手写整词识别方法,通过拼接单词中各连体段的特征构建单词的特征向量,用K-means聚类算法对连体段进行聚类操作降低单词特征向量的维度并输出离散的数字序列,通过隐马尔科夫模型完成单词的建模和识别。

基于广义Hough变换的手写文档整词定位

本文研究了在手写文档中定位目标整词的应用问题。将广义Hough变换的应用范围从图形匹配拓展到文档图像中的单词匹配。利用SIFT算法提取边界特征,将广义Hough变换的投票结果归一化到灰度值范围,形象地给出了单词位置检测的结果。最后将该方法应用到维吾尔文手写文档的整词定位问题中,取得了良好的效果。

构字对整词雅俗取向的影响——兼谈海峡两岸语文词典对雅俗词语的不同取态

字和词均有雅俗之别。当字作为构件,在词中充当一个结构成分(本文将其称为"构字")时,与原先处于独立状态时的字在一些方面的表现会有所不同,它会对整词的雅俗形成一定的影响。海峡两岸不同的语文工具书都收有一些语体或雅或俗的字,由这些雅俗不一的字构成的词,它们在各自的词典里所表现出来的雅俗情况或同或异,值得研究,雅俗不同的字对所构成的整词的雅俗取向的影响,尤其值得注意。海峡两岸词典对所收词语雅俗的定位、对雅俗词语的关注度,直接反映了两岸文化方面的差异。这对于深入分析两岸人民的文化心理、认真研究两岸在历史文化传承上的态度,均有重要的价值和意义。

多级索引的藏语分词词典设计

藏语分词词典是藏语自动分词系统的重要基础,词典规模大小和算法设计的优劣直接影响着分词的效率。本项目首先收集了多部藏语字、词典的所有词条及藏语标点符号,形成了约10万词条的大型藏语分词词库;根据藏字不同长度的特点,建立了藏语特有的多级索引分词词典机制,分析设计藏语整词二分法进行藏语分词。实验结果表明该藏语分词词典具有结构简单,分词速度快和查询性能高等优点。

复合词在言语产生的词汇通达中的表征

言语产生研究对于复合词的通达形成什么表征存在分歧。是形成整词表征还是分解为词素表征?用整词和词素频率效应考察,荷兰语的结果支持复合词的分离阶段通达模型和相应的分解表征假设,汉语和英语的结果支持复合词的独立网络通达模型和相应的整词表征假设。本文经过文献回顾指出,词汇表征不同于心理词典,语言、加工方式和加工通道都很可能造成复合词表征的差异。

感觉词素加速多词素汉语人格特质词的识别

采用词素和整词启动范式,考察对汉语人格特质词的识别。发现:(1)汉语人格特质词有表象和语言双重表征。表象表征在SOA=157ms时就激活了,在SOA=314ms时继续保持。(2)词素和整词在心理表征中处于同一层次,它们之间的联结有不对称性:由词素到整词联结强度强,激活扩散容易;由整词到词素联结强度弱,激活扩散稍难。

自扩充中文分词词典的研究与实现

中文分词词典是中文自动分词的一个核心技术,词条的完备率和词典的结构,在一定程度上决定着分词的正确率和查询速度。为了提高以上两方面的性能,从计算机技术层面上讨论,给出两种改进的词典组织结构和一种自动扩充词条的方法。

外国人汉语双字词习得中的频率效应再探

文章通过实验探讨整词和单字在教材中出现的频率对于不同母语背景学生汉语双字词习得的影响。给来自汉字圈和非汉字圈的汉语学习者呈现不同词频、字频的双字词,要求被试写出双字词的拼音和意义。结果显示,无论学习者来自汉字圈还是非汉字圈,词频、字频都影响其双字词的学习效果;而且字频对低频词学习的影响大于高频词,对非汉字圈学生双字词学习的影响大于汉字圈,即字频对于双字词学习的影响受整词频率、学习者的汉字基础的制约。文章还讨论了频率效应对对外汉语教学的启示。

基于Lucene的中文分词器的设计与实现

针对Lucene自带中文分词器分词效果差的缺点,在分析现有分词词典机制的基础上,设计了基于全哈希整词二分算法的分词器,并集成到Lucene中,算法通过对整词进行哈希,减少词条匹配次数,提高分词效率。该分词器词典文件维护方便,可以根据不同应用的要求进行定制,从而提高了检索效率。

汉语复合词语义透明度的“释义”模式分析

汉语复合词语义透明度可以外化为语素组合义参与整词释义的程度,由此可以确定其透明度的等级及类型;对于汉语能力不同的人群来说,复合词整词释义的透明与否会造成释义的难易差别;释义上的难易差别正是影响不同人群语义透明度感受临界值高低的重要原因。

基于预训练语言模型和TRIZ发明原理的专利分类方法

为充分挖掘专利文本中已有的解决方案和技术知识,依据发明问题解决理论(theory of inventive problem solving,TRIZ),提出了一种基于预训练语言模型的方法,将其用于面向TRIZ发明原理的中文专利分类研究中。基于整词掩码技术,使用不同数量的专利数据集(标题和摘要)对中文RoBERTa模型进一步预训练,生成特定于专利领域的RoBERTa_patent1.0和RoBERTa_patent2.0两个模型,并在此基础上添加全连接层,构建了基于RoBERTa、RoBERTa_patent1.0和RoBERTa_patent2.0的三个专利分类模型。然后使用构建的基于TRIZ发明原理的专利数据集对以上三个分类模型进行训练和测试。实验结果表明,RoBERTa_patent2.0_IP具有更高的准确率、宏查准率、宏查全率和宏F 1值,分别达到96%、95.69%、94%和94.84%,实现了基于TRIZ发明原理的中文专利文本自动分类,可以帮助设计者理解与应用TRIZ发明原理,实现产品的创新设计。

基于次优查找树的词典机制研究

在使用相同分词算法的情况下,词典机制决定着词语的查询速度,也影响着分词的速度和分词系统的广泛应用。根据词语在文本中出现频率的不同,通过构造次优查找树的词典机制,使得在分词过程中减少了比较次数,提高了分词的速度。最后采用最大逆向分词算法进行了对比实验,实验表明分词效率有一定提高。

中文分词词典机制的研究

中文分词是中文信息处理的前提,本文研究了已有的分词算法、分词词典机制,提出了一种新的词典机制--带词长整词二分词典。该方法通过改进词典机制,提高了中文分词最大匹配算法的匹配速度以及分词的效率。文章最后对新的机制和已有的机制进行了比较和实验分析。

英汉次词加工文献综述

本文主要回顾了英汉词汇加工模式,分析讨论次词(主要是英语词素)加工在各词汇加工模式中的作用以及汉字字形加工机制中次词(偏旁)的作用,然后分析总结了国内外词素加工和偏旁加工的相关研究。

天山北坡山盆系统耦合与农业结构调整

本文在论述天山北坡农业结构现状的基础上,指出其农业结构调整的必要性,提出了农业结构调整的目标就是改变目前天山的放牧性畜牧业,恢复山地生态系统,发挥山地的生态服务功能,在绿洲-扇缘带建立新的草地农业的产业结构,实现生态经济双赢;并提出了以棉粮为主转向实行草棉粮(饲)的综合性的改造以及从淡水绿洲转向咸水绿洲的农业结构调整的战略对策。