基于MacBERT和标签平滑的新冠疫情公众情感分析研究

针对BERT预训练与下游任务微调阶段存在不匹配差异,以及人工对文本数据进行情感倾向性标注可能存在误差的问题,提出一种基于MacBERT和标签平滑的网络模型(MacLMC).首先,在BERT的基础上引入MLM as correction策略,利用近义词替换被掩码词,通过MacBERT预训练模型获取词向量;其次,经过双层LSTM学习长距离依赖;再次,采用双通道多卷积核的卷积操作,分别提取信息的最大特征和均值特征;最后,利用标签平滑策略降低模型预测类别的概率,提升模型对于标签的容错能力,提高模型泛化性.实验结果表明:与现有主流模型相比,本文模型在多种数据集上性能表现更佳,能够更好地用于新冠疫情公众情感分析任务.

基于混合预训练语言模型的中文词汇简化方法

针对中文词汇简化(Chinese lexical simplification,CLS)任务缺乏关注的问题,提出一种基于混合预训练语言模型的CLS方法。采用回译策略构建一个大规模复述语料,首次实现基于复述模型的CLS方法;在实现当前最优的4种CLS方法的基础上,提出一种基于顺序的多数投票机制,以选择最佳的替换词。实验结果表明,与基线方法相比,混合方法优于其他所有单一方法,其简化准确性得以显著提升。

基于弱语义样本的对比学习句嵌入方法

为了有效消除句嵌入在语义特征空间的各向异性问题,提出一种基于弱语义样本的对比学习句嵌入方法,旨在生成有效句嵌入的同时,提升模型对文本语义相似性的识别效果。首先,采用标记重复算法构建相似样本并作为遮掩语言模型的输入,预测生成包含弱语义关系的样本;然后,将原始样本重复输入不同失活率的转换器,抽取不同的全局语义特征;最后,通过对比学习调整特征权重值,构建句嵌入。在公开数据集上进行系列对比实验,结果表明:基于弱语义样本的句嵌入表示方法性能优于其他方法,获得77.38%的相似性评估分数,为句嵌入生成和语义相似度识别任务提供了一种有效的解决方案。

标准电子文件转WORD校验方法

随着标准电子文件在各个领域的广泛应用,文件格式的转换及其后续校验工作变得日益重要。本研究聚焦于探讨标准文档格式转换为Word格式的过程中所面临的挑战,并提出了一个全面的校验流程,以确保转换的准确性和高效性。阐述了标准电子文件在石油等领域的广泛应用以及转换为Word格式的必要性,强调了校验过程的重要性,旨在确保转换后的文件与原始文件在错误率万分之五以内的一致性。

北京大学现代汉语语料库基本加工规范

北京大学计算语言学研究所已经完成了一个有2700万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外,还包括专有名词（人名、地名、团体机构名称等）标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉,更广泛地向专家、同行征询意见,以便进一步修订。

基于向量空间模型的文本自动分类系统的研究与实现

随着网络信息的迅猛发展 ,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类系统是信息处理的重要研究方向 ,它是指在给定的分类体系下 ,根据文本的内容自动判别文本类别的过程。对文本分类中所涉及的关键技术 ,包括向量空间模型、特征提取、机器学习方法等进行了研究和探讨 ,并且提出了基于向量空间模型的文本分类系统的结构 。

中文搜索引擎中的中文信息处理技术

就中文搜索引擎中的若干中文信息处理技术作了较深入地探讨，对诸如中文分词、中文码制转换和中文全半角处理等方面提出了较完整的解决方案。

汉字的数学表达式研究

通过深入分析汉字的有关结构知识,提出了一种全新的汉字的数学表达方法,该方法将汉字表示成由505个部件作为操作数、部件间的6种位置关系作为运算符号的数学表达式.这种表达方法接近自然,结构简单,而且可像普通的数学表达式一样按一定的运算规则处理,它可广泛应用于排版印刷、广告、包装设计、网络传输及中文移动通信等领域.已成功地应用在汉字字形自动生成、互联网上跨平台传播汉字信息、挖掘有关汉字结构知识等方面.

基于无指导学习策略的无词表条件下的汉语自动分词

探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法 ,以期对研制开放环境下健壮的分词系统有所裨益 .全部分词知识源自从生语料库中自动获得的汉字Bigram .在字间互信息和t 测试差的基础上 ,提出了一种将两者线性叠加的新的统计量md ,并引入了峰和谷的概念 ,进而设计了相应的分词算法 .大规模开放测试结果显示 ,该算法关于字间位置的分词正确率为 85 .88% ,较单独使用互信息或t 测试差分别提高了 2 4 7%和 5 6 6 % .

全二分最大匹配快速分词算法

分词对于中文信息处理的诸多领域都是一个非常重要的基本组成部分,对于诸如搜索引擎等海量信息处理的应用,分词的速度是至关重要的。该文在对中文编码体系和中文分词的算法进行研究的基础上,提出一种新的分词词典,基于这种分词设计了一种快速的分词算法,给出了算法的实现过程。

一个无需词典支持和切词处理的中文文档分类系统

报道了一个无需词典支持和切词处理的中文文档分类系统 .其特点是利用 N - gram信息进行中文文档分类 ,使中文文档分类摆脱了对词典和切词处理的依赖 ,实现了中文文档分类的领域无关性和时间无关性 ;采用开放的体系结构使文档分类系统易于功能扩充和性能完善 .测试结果表明该系统具有令人满意的分类性能 .

汉语多重关系复句的关系层次分析

汉语多重关系复句的句法分析问题主要由复句中的关系分析和层次分析两部分组成 .将多重关系复句中的层次分析作为研究对象 .它是针对多种逻辑或并列关系 ,按照一定层次组成复杂主从关系复句而进行的关系层次分析过程 .为了有效地形式化地表示多重关系复句的层次结构 ,提出了关系层次树的概念 ,并以此为基础构造文法 ,采用部分数据驱动的确定性移进 归约算法实现多重关系复句的关系层次分析 .通过开放测试对计算机实现的多重关系复句句法分析器进行考察 ,93.56 %的正确率使所提出的分析方法的有效性和正确性得到了充分的验证 .

一种中文分词词典新机制——双字哈希机制

汉语自动分词是汉语信息处理的前提 ,词典是汉语自动分词的基础 ,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典机制在中文分词中的重要性及已有的三种典型词典机制 ,并在此基础上根据汉语中双字词语较多的特点提出了一种新的分词词典机制———双字哈希机制 ,在不提升已有典型词典机制空间复杂度与维护复杂度的情况下 ,提高了中文分词的速度和效率。

基于SVM和k-NN结合的汉语交集型歧义切分方法

本文提出了基于支持向量机 (SVM)和k 近邻 (k NN)相结合的一种分类方法 ,用于解决交集型伪歧义字段。首先将交集型伪歧义字段的歧义切分过程形式化为一个分类过程并给出一种歧义字段的表示方法。求解过程是一个有教师学习过程 ,从歧义字段中挑选出一些高频伪歧义字段 ,人工将其正确切分并代入SVM训练。对于待识别歧义字段通过使用SVM和k NN相结合的分类算法即可得到切分结果。实验结果显示使用此方法可以正确处理 91 .6%的交集歧义字段 ,而且该算法具有一定的稳定性。

基于对数模型的词义自动消歧

提出了一种对数模型 (logarithm model,简称 L M) ,构造了一个词义自动消歧系统 LM-WSD(word sensedisambiguation based on logarithm model) .在词义自动消歧实验中 ,构造了 4种计算模型进行词义消歧 ,根据 4个计算模型的消歧结果 ,分析了高频率词义、指示词、特定领域、固定搭配和固定用法信息对名词和动词词义消歧的影响 .目前 ,该词义自动消歧系统 L M-WSD已经应用于基于词层的英汉机器翻译系统 (汽车配件专业领域 )中 ,有效地提高了翻译性能 .

无词典高频字串快速提取和统计算法研究

本文提出了一种快速的高频字串提取和统计方法。使用Hash技术 ,该方法不需要词典 ,也不需要语料库的训练 ,不进行分词操作 ,依靠统计信息 ,提取高频字串。用语言学知识进行前缀后缀等处理后 ,得到的高频字串可以作为未登录词处理、歧义消解和加权处理等的辅助信息。实验显示了该方法速度较快且不受文章本身的限制 。

字典与统计相结合的中文分词方法

提出了一种字典与统计相结合的中文分词方法,该方法首先利用基于字典的分词方法进行第一步处理,然后利用统计的方法处理第一步所产生的歧义问题和未登录词问题.本算法在基于字典的处理过程中,通过改进字典的存储结构,提高了字典匹配的速度;在基于统计的处理过程中,通过统计和规则相结合的方法提高了交集型歧义切分的准确率,并且一定条件下解决了语境中高频未登录词问题,实验结果表明,由本文算法实现的分词系统DS fenc i的分全率达99.52%,准确率达98.52%.

利用串匹配技术实现网上新闻的主题提取(英文)

从文本中提取主题串是自然语言处理的重要基础之一.传统的提取方法主要是依据“词典加匹配”的模式.由于词典的更新速度无法同步于网上新闻中新词汇涌现的速度,而且词典的内容也无法完全涵盖网上新闻的范围, 因此这种方法不适用于网上新闻的主题提取.提出并实现了一种不用词典即可提取新闻主题的新方法.该方法利用网上新闻的特殊结构,在标题和正文间寻找重复的字串.经过简单地处理,这些字串能够较好地反映新闻的主题.实验结果显示该方法能够准确、有效地提取出绝大部分网上新闻的主题,满足新闻自动处理的需要.该方法同样适用于其它亚洲语言和西方语言.

北京大学现代汉语语料库基本加工规范(续)

北京大学计算语言学研究所已经完成了一个有 2 70 0万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外 ,还包括专有名词 (人名、地名、团体机构名称等 )标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉 ,更广泛地向专家、同行征询意见 ,以便进一步修订。

基于规则的汉语句法分析方法研究

该文从汉语的句法结构特点出发对基于规则的汉语句法分析方法进行讨论,从中总结出这类方法的一般特征,提出实用化的基于规则的汉语句法分析器必须引入其它辅助分析手段才能提高性能和可靠性。