中文工艺规范文本分词语料的构建与研究

中文分词是处理工艺规范文本的一项基本任务,并且在工艺知识图谱与智能问答等下游任务中发挥着重要作用。工艺规范文本分词面临的一个挑战是缺乏高质量标注的语料,特别是面向术语、名词短语、工艺参数、数量词等特殊语言现象的分词规范。文中面向工艺规范文本制定了专用分词规范,收集并标注了一个中文工艺规范文本分词语料(WS-MPST),含11900个句子与255160个词,4名标注者分词标注一致性达95.25%。在WS-MPST语料上对著名的BiLSTM-CRF与BERT-CRF模型进行了对比实验,F1值分别达到92.61%与93.69%。实验结果表明,构建专用的工艺规范分词语料是必要的。对实验结果的深入分析揭示了未登录词与中文非中文字符混合构成的词是工艺规范文本分词的难点,也为今后工艺规范文本及相关领域的分词研究提供了一定的指导。

面向新词义原推荐的相似性判别方法

义原(Sememe)是构成《知网》(HowNet)概念描述的核心部件,新词概念描述义原的推荐是HowNet自动或半自动扩展中涉及的关键问题。面向新词义原推荐,该文提出一种融合义原注意力的预训练语言模型优化方法——SaBERT。在判别新词与HowNet词表词之间的语义相似性的过程中,该方法利用词表词已知概念描述义原序列的注意力分布,以相似性同构为目标,对基于BERT+CNN的相似性判别模型进行优化,从而为义原推荐任务提供相似概念集合。实验结果表明,采用SaBERT可以有效解决未登录词与词表词的相似性判别问题,准确率、召回率、F1值分别达到0.8314、0.8007和0.8158。在基于协同过滤框架的义原推荐任务上进行的实验表明,相似性同构程度与义原推荐效果正相关,说明该文方法能够有效解决候选义原选择问题。

普适性核度量标准比较研究

核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.

大规模无参考译文质量自动评测技术的研究

传统的译文质量自动评测方法主要针对机器自动翻译结果并通过与参考译文的对比实现译文质量的评估。提出一种大规模无参考译文质量自动评测方法,该方法可以在无参考译文的情况下,从正确性、流畅性和忠实度等方面对人工译文进行质量检查并标注可能的错误点,即利用语言规则实现正确性的判断,利用语言模型实现流畅性的判断,利用词对齐结果和词典信息实现忠实度的判断。基于该方法实现的译文质量辅助检查系统在国家知识产权局百万专利翻译项目中的应用效果表明,使用该系统的测试组较未使用该系统的测试组的平均译文质量和终稿完成效率均有明显提升。

航空术语语义知识库ATHowNet的构建

语义知识库在自然语言处理的许多领域中起着重要的作用。现有的语义知识库主要面向常识知识,特定领域的语义知识库则很少。文章将知网(HowNet)的理论体系与概念表示方法扩展至航空领域,提出了一个航空领域术语语义知识库——ATHowNet,并介绍了构建过程。该知识库包含3700个概念、3959个概念关系和3864个术语。在航空术语相似度计算及词类比任务上应用与验证了ATHowNet,结果证实了其在航空领域概念语义描述及基于概念关系推理上的有效性。

航空术语语义知识库辅助构建方法

语义知识库是自然语言处理任务的基础性资源,广泛应用于语义计算和语义推理等任务。现有的大规模语义知识库基本都是通用型知识库,缺乏特定领域的语义知识。为了弥补这种不足,该文基于HowNet的语义理论体系,提出了一种辅助构建航空术语语义知识库的方法。该方法根据航空术语的特点将辅助构建分成四个关键过程,构建了2 000条术语概念描述(DEF)。最后通过对人工标注的术语间相似度与根据术语DEF计算的术语间相似度结果的对比,验证了该构建方法的有效性。

基于字簇的多模型中文分词方法研究

字标注分词方法是当前中文分词领域中一种较为有效的分词方法,但由于中文汉字本身带有语义信息,不同字在不同语境中其含义与作用不同,导致每个字的构词规律存在差异。针对这一问题,提出了一种基于字簇的多模型中文分词方法,首先对每个字进行建模,然后对学习出的模型参数进行聚类分析形成字簇,最后基于字簇重新训练模型参数。实验结果表明,该方法能够有效地发现具有相同或相近构词规律的字簇,很好地区别了同类特征对不同字的作用程度。

面向工艺文本的命名实体识别方法研究

面向工艺文本中的命名实体,该文提出一种融入领域知识的神经网络命名实体识别方法,旨在对零件、工程图纸、参考标准、属性等12类命名实体进行识别。该方法针对工艺实体的特点,利用领域词典及规则预识别出部分实体,形成预识别实体特征,将预识别实体特征加入CNN-BiLSTM-CRF神经网络模型,指导训练与预测。实验结果表明,该方法在工艺文本中能较好地完成命名实体识别任务,在提高词典及规则覆盖的实体识别效果的同时,还能够提高其他类实体的识别效果,通过加入预识别实体特征,使得F_(1)值从90.99%提升到93.03%,验证了该文方法的有效性。

基于中心化相似度矩阵的词向量方法

对基于矩阵分解的词向量方法进行了研究,发现降维前相似度矩阵质量与词向量质量存在线性相关性,提出了一种基于中心化相似度矩阵的方法。该方法使得相似(不相似或弱相似)词间的相似程度相对增强(减弱)。在WS-353和RW数据集的词语相似性实验中验证了所提出方法的有效性,两个数据集下词向量质量最高提升0. 289 6和0. 180 1。中心化能够提升降维前相似度矩阵质量,进而提升词向量质量。

面向航空领域HowNet构建的术语内部动态角色标注

术语内部动态角色标注是航空领域HowNet构建的关键环节,其直接影响航空领域HowNet的规模与质量。针对动态角色种类多造成标注困难的问题,提出一种基于KNN的术语内部动态角色标注方法。通过对术语内部词语DEF项的分析进行样本预选择,并在最近邻样本选择阶段融合基于DEF的语义相似性及基于词向量的语境分布相似性。实验结果表明,1-Best、3-Best和7-Best的准确率分别为67.57%、86.00%和94.17%,平均倒数排名MRR为0.7764,优于现有的研究结果。

基于深度学习的制造工艺过程自动生成方法研究

面向制造工艺过程的自动生成,提出一种基于深度学习的方法,具体为一种CNN-LSTM网络。CNN-LSTM网络通过多路CNN和LSTM两种编码器分别对工艺属性和前序工序序列编码,生成特征向量,将特征向量组合后作为解码器的输入,生成后续工序。能够解决多方面输入信息的特征分析问题,以及在工序序列生成中前序工序序列信息与输入信息融合的问题。在2 360份制造大纲文件数据上的实验表明,该方法生成的工艺过程与参考工艺过程的相似性达到0.451 5,BLEU-4达到0.237 6,好于对比方法。

融合权重信息的三维CAD模型聚类研究

局部区域特征的获取与表达对于研究三维CAD模型聚类至关重要.面向局部区域特征表达问题提出了在现有的六元组方法基础之上将其扩展为七元组,加入了模型中面与面相交形成的边属性信息,从而更好的获得了由局部区域特征构建的词汇本;在聚类阶段,提出了一种模型局部区域加权方法,该方法降低常见局部区域在聚类相似度计算时的最重要程度,从而相对提高了更有区分度的局部区域.实验结果表明,采用本文提出的表达方法能有效支持CAD模型聚类任务,对比基线方法在四种典型聚类算法上得到的NMI值、V-measure值、Purity值均有提升.

计算机专业产学研一体化人才培养模式研究与实践

通过分析现有人才模式无法满足企业有人标准的问题，提出了发展高职院校计算机专业产学研一体化人才培养模式的紧迫性。同时结合沈阳北软信息职业技术学院校企合作的办学特色，探索了计算机专业的人才定向培养模式、工学交替培养模式、围绕市场需求完善专业设置、建设实践教学基地、实施双师型教师队伍的教学改革，以期打造高职院校核心竞争力，培养具有实践能力的复合创新型技术人才。

基于神经网络中文短文本作者识别研究

随着互联网应用的日益普及,短文本作为电子数据证据在法庭科学中日益重要,法院亟需对大量网络聊天内容作者归属进行同一认定。传统机器学习方法对特征选取非常敏感,因为在实践中较难提取到准确的作者写作习惯特征,所以影响了传统机器学习方法的实践效果。针对文本短、特征少、特征提取困难的缺点,提出了融合多属性的神经网络中文短文本作者识别方法。首先将文本的结构特征、语义特征、发送时间、发送位置、发送频率等属性融合进文本序列,对文本序列进行词向量化表示,采用卷积层和Bi-LSTM层自动提取局部特征和上下文关系特征,通过注意力机制动态调整特征权重,使用Softmax分类器得到文本作者。以最大熵模型做对比实验,实验结果表明卷积层和Bi-LSTM层能“学习”到短文本上下文特征,注意力机制能更多“学习”到文本序列不同位置的关键特征,融合多属性的神经网络方法的作者识别精度比传统模型大约提高了5%。

基于概念结构与分布式表征的术语语义知识库构建

词汇语义知识库的构建是自然语言处理中的一项基本任务,在自然语言处理的各子任务中发挥着重要作用。文章面向领域内复合型术语,提出术语概念KDML表示的自动生成方法,该方法基于概念的层级结构,采用分布式表征方法表征概念与术语定义文本,根据二者间语义距离大小进行概念消歧,通过K近邻算法学习概念间的语义角色,按照KDML语法规则生成术语概念的完整表示。实验取得首义原精确率为96%,总义原、总语义角色与总三元组的F 1值分别为91.92%、78.9%、73.41%的结果。

翻译错误类分布加权的专利译文自动后编辑集成模型

自动后编辑(APE)是一种自动修改机器译文错误的方法,能够改善机器翻译系统的译文质量。目前,APE研究主要集中于通用领域,然而对于专业性强和译文质量要求较高的专利译文的APE则鲜有研究。文中研究了专利译文自动后编辑,提出了翻译错误类分布加权的专利译文自动后编辑集成模型。首先,提出术语加权翻译编辑率(WTER)计算方法,在翻译编辑率(TER)中加入了每个词的术语概率因子,使术语错误较多的样本WTER值较高。然后,通过WTER从3个机器翻译系统构造的训练数据中选择错译、漏译、增译与移位错误样本子集分别构建错误修正偏向性APE子模型。最后,通过翻译错误类分布加权错误修正偏向性APE子模型。该方法针对专利专业性、强术语较多的特点,每个子模型分别面向一类错误,考虑了错误修正的偏向性,通过模型集成兼顾了译文错误多样性,在英中专利摘要数据集上的实验结果表明,相比3个基线系统,所提方法的BLEU值分别平均提升了2.52,2.28和2.27。

基于编码器—解码器的工艺过程生成方法

针对现有工艺过程生成方法对于不同专业适用性较差的问题,提出一种基于深度学习编码器—解码器结构的工艺过程生成方法。该方法利用工艺大纲文件数据,通过编码器提取大纲文件中工艺属性的特征,形成工艺属性文本表征向量,解码器根据表征向量逐步生成工艺过程。在钣金零件制造与装配两个专业工艺大纲文件数据上,比较研究了24种编码器—解码器结构,最高准确率分别达到0.8287和0.6973,即生成的工艺过程有82.87%和69.73%可直接接受,不需要后续修改。这一方面表明所提出方法能够有效地从数据中学习工艺属性与工艺方法间的关系,从而生成工艺过程;另一方面,在两个专业采用相同编码器—解码器结构,表明所提方法对于不同专业的适用性,具有迁移能力。

利用依存句法分析和关键词共现的机器阅读理解模型

片段抽取式阅读理解是机器阅读理解典型任务之一,根据所给的篇章回答相关问题得到答案片段。在处理长文本如长问题或者长答案时,在无关词的噪声干扰和词之间长距离的关联跨度影响下,往往模糊了关注度的问题,一方面,依存句法分析通过识别词之间的语义关系,另一方面,增强句子的主干文本结构信息可以提升模型对于长文本阅读能力。该文寻找篇章中相关问题答案的主要方式是找到问题与篇章的关联特征,两者最关联的特征就是关键词,通过建立的关键词指导模型,实现在自注意力机制以获得正确答案的开始和结束位置。实验结果表明,在预训练语言模型的基础上将依存句法分析信息和关键词共现特征结合能够提升阅读理解的效果,在评测语料上F1值达到88.24。

融入知识的工艺文本命名实体识别方法

针对工艺制造领域文本提出一种融入知识的命名实体识别方法,旨在能够准确地识别工艺文本中的12类实体。该方法依据工艺领域知识设计正则规则,对文本序列进行实体的预识别,形成预识别特征矩阵,并使用编码器对预识别特征矩阵编码,再将识别到的结果保存于词典中,然后对输入文本分词训练基于词的知识表示,最后加入基于神经网络的实体识别模型中。使用BiLSTM为预识别特征矩阵编码器和BiLSTM-CRF神经网络模型的F1值达到92.55%。实验结果表明,融入知识的工艺文本命名实体识别方法能够有效提高工艺文本实体的识别效果。

融合单语翻译记忆的神经机器翻译方法

与以往使用双语语料库作为翻译记忆(Translation Memory,TM)并采用源端相似度搜索进行记忆检索,进而将检索到的相似句对与神经机器翻译(Neural Machine Translation,NMT)模型融合的这种分阶段进行的方法不同,提出一种新的融合框架,即基于跨语言注意力记忆网络的神经机器翻译模型,该模型使用单语翻译记忆即目标语言句子作为TM,并以跨语言的方式执行可学习的检索。该框架具有一定的优势:第一,跨语言注意力记忆网络允许单语句子作为TM,适合于双语语料缺乏的低资源场景;第二,跨语言注意力记忆网络和NMT模型可以为最终的翻译目标进行联合优化,实现一体化训练。实验表明,所提出的方法在4个翻译任务上取得了较好的效果,在双语资源稀缺的专业领域中也表现出其在低资源场景下的有效性。