基于掩码语言模型的中文BERT攻击方法

对抗文本是一种能够使深度学习分类器作出错误判断的恶意样本,敌手通过向原始文本中加入人类难以察觉的微小扰动制作出能欺骗目标模型的对抗文本.研究对抗文本生成方法,能对深度神经网络的鲁棒性进行评价,并助力于模型后续的鲁棒性提升工作.当前针对中文文本设计的对抗文本生成方法中,很少有方法将鲁棒性较强的中文BERT模型作为目标模型进行攻击.面向中文文本分类任务,提出一种针对中文BERT的攻击方法Chinese BERT Tricker.该方法使用一种汉字级词语重要性打分方法——重要汉字定位法;同时基于掩码语言模型设计一种包含两类策略的适用于中文的词语级扰动方法实现对重要词语的替换.实验表明,针对文本分类任务,所提方法在两个真实数据集上均能使中文BERT模型的分类准确率大幅下降至40%以下,且其多种攻击性能明显强于其他基线方法.

基于注意力掩码语言模型的隐式篇章关系识别

隐式篇章关系识别是在缺少显式连接词的条件下,自动判定论元之间的语义关系。其挑战性在于现有训练数据的规模较小,其蕴含的语义多样性也相对有限。针对上述问题,该文利用掩码语言模型架构建立篇章关系分类模型。其动因包括:①掩码语言模型在自监督学习过程中具备局部的语言生成能力,即在理解上下文语义的基础上“重构掩码区域语义表示”的能力;②掩码重构形成了数据增强(潜在的自动数据扩展)的效果,有助于提高篇章关系分类模型的鲁棒性。特别地,该文提出一种基于交互注意力的掩码语言模型,该方法计算论元之间的交互注意力矩阵,并依赖交互注意力动态选择论元之间高关联性的关键词项进行遮蔽、掩码重构,从而形成更有针对性的数据增强(非关键信息的数据增强对关系分类影响不大)。该文利用宾州篇章树库语料进行实验。实验结果表明,相较于基准系统,我们提出的方法的F 1值在四大类关系(对比关系、偶然性关系、扩展关系和时序关系)上分别提高了3.21%、6.46%、2.74%和6.56%。

掩码语言增强表示的对比学习微调和应用

在基于Transformer的语言模型中自注意力网络扮演了重要的角色,其中的全连接结构能够以并行方式捕捉序列中非连续的依赖关系。但是,全连接的自注意力网络很容易过拟合到虚假关联信息上,比如词与词、词与预测目标之间的虚假关联。这种过拟合问题限制了语言模型对领域外或分布外数据的泛化能力。为了提高Transformer语言模型对虚假关联的鲁棒性以及泛化能力,提出掩码语言增强表示的对比学习微调框架(fine-tuning framework via mask language model enhanced representations based contrastive learning,MCL-FT)。具体而言,文本序列和其随机掩码后的序列送入到一个孪生网络,结合对比学习目标和下游任务目标对模型进行参数学习。其中,每一个孪生网络由预训练语言模型和任务分类器组成。所以,该微调框架更加符合掩码语言模型预训练学习方式,能够在下游任务中保持预训练知识的泛化能力。在MNLI、FEVER和QQP数据集以及它们的挑战数据集上与最新的基线模型进行了对比,包括大语言模型ChatGPT、GPT4、LLaMA,实验结果验证了提出模型在保证分布内性能的同时有效提高了分布外的性能。在ATIS和Snips数据集上的实验结果证明,该模型在常见自然语言处理任务中也有显著的效果。

面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

基于RoBERTa-wwm-ext与混淆集的中文文本校对模型

中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上,利用transformer结构中的encoder机制读取整段中文文本序列,然后通过softmax函数计算当前字符权重分布来判断该字符是否错误,并在纠错任务中引入混淆集,使用混淆集找到该错字对应的候选字符,最后结合掩码语言模型给出的修改建议,完成文本校对.在SIGHAN2014与SIGHAN2015中文拼写检查数据集上,设计字粒度级别的中文文本校对实验,对比模型性能.实验结果表明,与当前主流的中文文本校对模型相比,该模型的中文文本校对效果表现更佳,文本校对的准确率、召回率、F1值均有所提升.

领域文献深层语义特征视角下的期刊新兴研究主题发现

[目的/意义]从文献深层语义特征角度分析特定领域期刊研究内容中蕴含的新兴主题,对科研工作者了解领域研究热点、寻找进一步研究的方向具有重要意义。[方法/过程]首先,以图书情报领域期刊“JASIST”为例,从文献句子的语义特征角度出发,使用BERT及其衍生模型进行关键句子的识别;其次,基于MLM提出语言模型的增强方案;最后,使用BERTopic在识别结果的基础上进行面向关键研究语句和摘要的新兴主题发掘及演化分析。[结果/结论]整体句子识别性能F1值超80%,基于MLM的领域模型在关键句子识别上较基准模型性能提升约1~2个百分点,基于BERTopic发现7个新兴热点研究主题。文章提出的关键句子识别和基于BERTopic的主题计算方案能够有效挖掘新兴主题,为科研工作者提供辅助。

基于提示学习增强BERT的理解能力

提示学习旨在利用提示模板减小语言模型的预训练任务和下游任务间的差距。其难点在于提示模板的设计,为此,文中在构造提示模板的过程中,提出一个通过自动搜索离散提示对连续提示优化的新方法。其中,自动搜索提示基于双向Transformer编码器(Bidirectional Encoder Representation from Transformers, BERT)的预训练任务掩码语言模型训练,连续提示优化是训练自动搜索输出的离散提示在连续空间内的映射张量,根据损失函数对提示模板进行训练。实验表明,在公共基准SuperGLUE中,基于提示学习的BERT相比于原始的BERT模型在准确率和F1值上均有显著的提升。

面向汉藏机器翻译后处理的藏文虚词纠错模型

机器翻译是自然语言处理的主要分支之一,在促进政治、经济、文化交流等方面起着重要作用。目前汉藏机器翻译质量还有待提高,汉文到藏文的译文中容易出现语法错误,尤其普遍存在藏文虚词的翻译错误。分析汉藏机器翻译译文中的藏文虚词错误类型,并究其自动纠错方法是提高汉藏机器翻译性能最有效的方法。在分析汉藏机器翻译译文中虚词错误类型的基础上,利用大规模藏文文本对Bert进行预训练。然后面向汉藏机器翻译译文中的虚词错误类型,针对性的对Bert预训练模型进行微调,以完成一种面向汉藏机器翻译后处理的Bert藏文虚词纠错模型的训练。经实验,模型的纠错准确率、召回率和F1值分别达95.64%,93.27%,94.44%,表明上述模型的藏文虚词纠错性能较好。

基于BERT和多特征融合嵌入的中文拼写检查

由于汉字的多样性和中文语义表达的复杂性,中文拼写检查仍是一项重要且富有挑战性的任务。现有的解决方法通常存在无法深入挖掘文本语义的问题,且在利用汉字独特的相似性特征时往往通过预先建立的外部资源或是启发式规则来学习错误字符与正确字符之间的映射关系。文中提出了一种融合汉字多特征嵌入的端到端中文拼写检查算法模型BFMBERT(BiGRU-Fusion Mask BERT)。该模型首先利用结合混淆集的预训练任务使BERT学习中文拼写错误知识,然后使用双向GRU网络捕获文本中每个字符错误的概率,利用该概率计算汉字语义、拼音和字形特征的融合嵌入表示,最后将这种融合嵌入输入到BERT中的掩码语言模型(Mask Language Model,MLM)以预测正确字符。在SIGHAN 2015基准数据集上对BFMBERT进行了评测,取得了82.2的F1值,其性能优于其他基线模型。

基于对抗迁移学习的军事科技领域命名实体识别

当前通用领域命名实体识别模型可移植性差,在军事科技领域不具备普遍性和适应性,实际效果不佳。针对军事科技领域的独特性、标注语料规模小、实体识别任务多样等特点,将迁移学习的方法应用于军事科技领域命名实体识别,并进行了领域适配与任务适配。通过预训练掩码语言模型的方法对BERT预训练模型进行了领域适配,通过对抗迁移学习的方法对BiLSTM-CRF模型行了任务适配。模型中加入了虚拟对抗训练,通过训练减少虚拟对抗损失以提高模型的鲁棒性。在军事科技领域文本上验证了该方法,实验结果表明,领域适配与任务适配对提高识别效果都有显著的积极作用。

基于BERT在税务公文系统中实现纠错功能

税务公文作为社会政治的产物,具有鲜明的政治性。而撰制公文是一项严肃的工作,必须保持准确、严肃的文体特点。为减轻撰制者和审核者的负担,该实验针对税务系统,利用基于BERT-BiLSTM-CRF的序列标注模型和BERT掩码语言模型的特点,对公文句子中常见的单个字错误进行了检错、纠错实验。准确率、召回率和F1值相比传统的纠错方法有着明显的提升。结果表明,基于BERT-BiLSTM-CRF的序列标注模型和BERT掩码语言模型在税务公文检错纠错应用中具有较大价值。