基于领域大语言模型的古籍分词研究

[目的/意义]文章以古籍自动分词为切入点,引入“荀子”系列大语言模型,对大语言模型在古籍文本分词任务上的表现进行了探讨。[方法/过程]文章基于《左传》分词语料,进行了数据清洗和整理,构建了指令数据集,在此基础上,从数据集中抽取了1 000条作为测试数据,并分别使用500、1 000、2 000、5 000条数据作为训练数据进行指令微调,并测试其性能。[结果/结论]实验结果表明,只需要少量的数据,大语言模型就可以有较为理想的表现,在微调数据量达到5 000条数据时,Xunzi-Qwen-7B模型表现出了最优性能,F1值达到84.54%。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

大规模语料库 现代汉语分词的有效工具——《大规模现代汉语分词语料库构建及应用》荐读

由南京农业大学黄水清和王东波教授编写、南京大学出版社出版的《大规模现代汉语分词语料库构建及应用》一书正式问世了!该书以“新时代人民日报分词语料库”(New Era People’s Daily Segmented Corpus,以下简称NEPD)为研究对象。NEPD收录了2015年1—6月、2016年1月、2017年1月、2018年1月、2022年1月共10个月《人民日报》上刊发的全部文章,构建了迄今规模最大的精加工现代汉语通用分词语料库,超过3000万字符量,向全世界学术界开放供免费获取。

中文工艺规范文本分词语料的构建与研究

中文分词是处理工艺规范文本的一项基本任务,并且在工艺知识图谱与智能问答等下游任务中发挥着重要作用。工艺规范文本分词面临的一个挑战是缺乏高质量标注的语料,特别是面向术语、名词短语、工艺参数、数量词等特殊语言现象的分词规范。文中面向工艺规范文本制定了专用分词规范,收集并标注了一个中文工艺规范文本分词语料(WS-MPST),含11900个句子与255160个词,4名标注者分词标注一致性达95.25%。在WS-MPST语料上对著名的BiLSTM-CRF与BERT-CRF模型进行了对比实验,F1值分别达到92.61%与93.69%。实验结果表明,构建专用的工艺规范分词语料是必要的。对实验结果的深入分析揭示了未登录词与中文非中文字符混合构成的词是工艺规范文本分词的难点,也为今后工艺规范文本及相关领域的分词研究提供了一定的指导。

HanLP下不同分词器对文本分类性能的研究

文本分类在搜索引擎技术中占据着重要的地位,文本分类第一步就是分词,分词分得准确,则在后续文字特征提取的时候也更为精确。针对以上情况,主要探究HanLP中不同分词器对文本分类后所呈现结果的影响程度,所用分词器主要为实词分词器和二元语法分词器,利用两种分词器对语料库分词,将特征向量导入朴素贝叶斯和支持向量机中进行训练和测试,测评后精确率P、召回率R、F1分数最高的一组搭配为二元语法分词和支持向量机。实验数据表明二元语法分词器能够较大地提高文本分类的准确率,但分词特征较多会影响分类模型分类的速率。

基于局部Transformer的泰语分词和词性标注联合模型

泰语分词和词性标注任务二者之间存在高关联性,已有研究表明将分词和词性标注任务进行联合学习可以有效提升模型性能,为此,提出了一种针对泰语拼写和构词特点的分词和词性标注联合模型。针对泰语中字符构成音节,音节组成词语的特点,采用局部Transformer网络从音节序列中学习分词特征;考虑到词根和词缀等音节与词性的关联,将用于分词的音节特征融入词语序列特征,缓解未知词的词性标注特征缺失问题。在此基础上,模型采用线性分类层预测分词标签,采用线性条件随机场建模词性序列的依赖关系。在泰语数据集LST20上的试验结果表明,模型分词F1、词性标注微平均F1和宏平均F1分别达到96.33%、97.06%和85.98%,相较基线模型分别提升了0.33%、0.44%和0.12%。

面向自然语言处理的现代缅文分词规范研制与应用

缅文分词是缅甸语自然语言处理中不可缺少的基础性工作之一,而分词规范则是进行自动分词技术研究的关键问题。该文参考了中文、藏文等文种的分词经验,结合缅文自身特点、缅文在计算机中的编码特点和缅甸语语法,研制了一套较系统的、适用于现代缅文的分词规范;并基于该规范对缅文开源人工标注分词语料库myPOS 0.9进行人工重新标注,实验结果证明在6种常见分词算法条件下该分词规范性能更优。

数字人文视域下简帛文献的分词研究--以《里耶秦简牍》为例

简帛文献是一类不同于传世典籍的传统文化载体。本文以两卷里耶秦简为例,结合数字人文的文本数据计算及分析方法,对其进行自动分词研究。基于经过人工标注的里耶秦简文本构建里耶秦简语料库,分别使用3类分词方法进行实验,对比并讨论其结果。实验显示,Bi-LSTM-CRF模型的分词效果最佳,准确率达到94.54%,召回率94.82%,F值为94.68%。实验结果不仅验证了深度学习的分词方法在里耶秦简等简帛文献中的有效性和泛化能力,还表明其可应用于简帛词汇研究、语料库深加工以及文本分析等多元任务中。

一种基于八词位标签的BiLSTM_CRF藏文分词方法

藏文分词是藏语自然语言处理的一项基础性任务,其性能影响藏文自动摘要、自动分类以及搜索引擎等多个方面。基于词位标注的藏文分词方法通常使用四词位标签集,为了更全面地提取特征信息和更深层次的语义信息,该文提出了一种八词位标签集,采用BiLSTM_CRF模型得到一种基于八词位标签的BiLSTM_CRF藏文分词方法。实验结果表明,该方法取得较好的分词效果,在测试数据集上的准确率、召回率和F1值分别达95.07%、95.57%和95.32%。

Bi⁃LSTM和CRF结合的藏文分词方法研究

本研究旨在探索基于双向长短时记忆网络(Bi⁃LSTM)和条件随机场(CRF)的藏语分词方法。研究评估了Bi⁃LSTM和Bi⁃LSTM结合CRF模型在藏文分词任务中的性能,针对未登录音节词进行了模型优化。研究还将分词系统应用到CCMT2023藏汉机器翻译任务中,并进行了评估。实验结果表明,本文提出的分词系统在藏语分词任务中具有良好的性能,并且在藏汉机器翻译任务上有效提升了性能。

基于多语言预训练模型的缅甸语分词研究

缅甸语属于低资源语言,收集大量缅语文本进行预训练是一项耗时耗力的工作。目前已存在一些在多种语言(包括缅甸语)上预训练的模型,例如bert-base-multilingual-cased和xlm-roberta-base。因此,文章提出了一种新方法,即在多语言(包括缅甸语)预训练模型的基础上,利用缅语文本进行再预训练,以提升模型的分词性能。首先,构建了缅语预训练语料库,并使用它制作了一个仅包含缅甸语的tokenizer。然后,重置了多语言预训练模型的词嵌入层和位置编码层,并在重置后的多语言预训练模型上使用自制的tokenizer加入缅语预训练语料库进行再预训练。最后,在自建的以及公开的分词标注数据集上进行了微调。与未进行再预训练的情况相比,模型在F1值上分别提高了2.23%和1.2%,且自建数据集的提升幅度高出公开数据集的1.34%。

汉语盲文中“的”字分词连写的问题与对策

“的”字在现代汉语中使用广泛,构词能力强。“的”字结构表面简单,实则复杂。在盲文分词连写规则中,“的”字的处理经历了从繁复到简略的过程。黄乃先生根据语法功能对“的”字的分词连写进行了区分,但是规则复杂且不易操作;现行盲文以分为主,由于处理的方式过于简单而忽略了“的”字结构内在的句法、语义关系。“的”字的分词连写存在理论复杂性与实际应用简单化之间的矛盾。将是否出现中心语作为“的”字结构分词连写的显性标记,既能反映“的”字结构的基本语法关系,又具有操作的简便性,为盲文分词连写相关规则的修订提供一定的借鉴与参考。

基于BERT的电力领域无监督分词方法

目前,已有一些分词工具实现了通用领域分词,而在电力领域中进行分词面临相关文本少,缺乏已标注数据且人工标注工作成本高等问题。为了克服这些困难,提出了一种基于BERT特征编码的无监督分词工具,采用遮蔽语言模型(MLM),基于BERT计算部分被遮蔽的句子的特征编码来度量句子各部分相似度,并将相似度较低的部分进行拆分,再通过N-Gram对于拆分结果进行重新组合,实现电力领域的无监督分词。实验结果表明,文中方法在通用领域优于现有分词工具,尤其在电力领域的分词任务中取得了较好的效果。

交际翻译理论指导下科技文本中过去分词的汉译技巧探究

科技文本中过去分词的使用频率非常高。本文以一篇与计算机技术相关的论文的翻译实践为例,分析得出过去分词常在科技文本语句中充当状语、定语、补语、表语等成分。科技文本属于典型的信息型文本,译者应倾向于选择交际翻译策略,在翻译时注重信息的传达,而不应拘泥于语言表现形式。本文结合实例进行分析,发现顺译、逆译、增译、省译和转换可以非常有效地运用于过去分词的翻译中。

基于“讲述中国故事”日语文本的专用分词词表构建研究——以《人民网日文版》为例

用日语讲述中国故事、传播中国声音是面向日本构建中国国际形象的重要一环,也是国内日语教育的主要目标之一。《人民网日文版》正是国家对日宣传的重要媒介,可用作培养讲述中国故事日语人才的教学资源。为分析该媒体的对日新闻文本中国形象宣传现状,充分挖掘其教育教学功能,收集《人民网日文本》的新闻文本并构建语料库开展量化分析,是较为有效的研究路径。准确的分词结果是量化分析日语语料的前提,但研究发现,目前的日语分词工具难以处理中国故事日语文本的精确分词,将严重影响分析结论的可靠性。因此,本研究抽取《人民网日文版》新闻文本中与中国社会、经济、文化和科技等相关的日语表述,构建适用于中国故事日语文本的专用分词词表,并评测该词表的实用效果。Telling China’s story and spreading China’s voice in Japanese are crucial for shaping China’s international image in Japan and are also one of the primary goals of domestic Japanese language education. The People’s Daily Japanese Edition is an important medium for China’s stories towards Japan and can serve as a valuable resource for training Japanese language talents to tell China’s story. To analyze the current state of China’s image publicity in this media’s news texts and to fully exploit its educational functions, collecting and constructing a corpus of these news texts for quantitative analysis is an effective research approach. Accurate word segmentation is a prerequisite for the quantitative analysis of Japanese corpora. However, research has found that current Japanese word segmentation tools struggle to precisely segment texts related to China’s story, which significantly affects the reliability of the analysis results. Therefore, this study extracts Japanese expressions related to Chinese society, economy, culture, and technology from the People’s Daily Japanese Edition news texts, constructs a custom segmentation word dictionary for these texts, and evaluates the accuracy and practicality of this dictionary.

PACE模式在现在分词作状语教学中的应用

语法教学是英语教学中必不可少的部分。PACE 模式较传统语法教学更加注重依托语境进行语法知识的输入加工、注重师生互动,更加强调学生的语言输出能力。本文以“现在分词作状语的用法”为例,探讨 PACE 模式“呈现 - 注意 - 共建 - 扩展”四个阶段在英语语法教学中的应用,总结其对语法教学的启发,旨在为语法教学提供思路,在课堂上提高语法教学的效率,促进学生语法能力的培养。

以语用语法观为导向的分词做状语教学策略探究

在高中学段,分词做状语一直是英语语法教学的重点,也是学生学习的难点,学生普遍存在认知模糊和应用能力缺失的问题,该文结合课例阐释了语用视角下的教学策略:问题导入以修正形式规则;语境导入以理解意义功能;捕捉生活情境以体验语言动态生成;捕捉语篇情境,以提升整体语言运用能力。以上教学策略帮助学生打破对该语法结构的认知和应用瓶颈,知道了什么时候用、如何用分词做状语,最终能生成衔接连贯的语篇。

一种设备端中英分词算法的设计与实现

文章针对设备端中英文分词的需求,设计并实现了一种端侧中英文分词算法。该算法基于词典匹配原则,结合散列hash算法实现高效的词典查找。通过优化词典结构、采用自适应分词策略以及引入用户反馈机制等策略,提高了分词的准确率和处理速度。实验结果表明,无论在通用PC还是低性能嵌入式设备上,该算法都表现出良好的性能。在人工标注的中文和英文测试集上,整句分词准确率分别达到90%和80%以上,为设备端分词的实现提供了一种可行的思路。未来的工作重点是进一步优化英文处理,并适配低端硬件设备。

-ing还是-en?英语学习者对形容词性分词的困惑

形容词性分词在英语中可以用作定语或者表语。本研究考察了英语学习者对形容词性分词的使用情况,调查分词习得的困难究竟是与母语相关还是与英语本身的特征有关。英语是二语而母语是中文的学生和混合母语的学生分为两组参加了写出不含语境的目标英语句子的第一个实验。其中前一组学生又参加了写出含有语境的目标英语句子的第二个实验。第一个实验显示,在控制了学习者英语水平的前提下,两组学生对名词前作定语的形容词性分词的表现不同,而第二个实验显示,句子的语境并没有帮助母语是中文的学生表现更好。有语境时,目标词语的频率效应消失。这些结果表示,形容词性分词的复杂性不仅源于英语的语言学特征,也与学生的母语和英语水平相关。