生成式标签对抗的文本分类模型

文本分类是自然语言处理(NLP)中的一项基础任务,目的是将文本数据分配至预先定义的类别。图卷积神经网络(GCN)与大规模的预训练模型BERT(Bidirectional Encoder Representations from Transformer)的结合在文本分类任务中取得了良好的效果。大规模异构图中GCN的无向的信息传递产生信息噪声影响模型的判断,造成模型分类能力下降,针对这一问题,提出一种生成式标签对抗模型,即类对抗图卷积网络(CAGCN)模型,以降低分类时无关信息的干扰,提升模型的分类性能。首先,采用TextGCN(Text Graph Convolutional Network)中的构图法构建邻接矩阵,结合GCN和BERT模型作为类生成器(CG);其次,在模型训练时采用伪标签特征训练法,并构建聚类器与类生成器联合训练;最后,在多个广泛使用的数据集上进行实验。实验结果表明,在泛用的分类数据集20NG、R8、R52、Ohsumed和MR上,CAGCN模型的分类准确率比RoBERTaGCN模型分别提高了1.2、0.1、0.5、1.7和0.5个百分点。

面向抽取式阅读理解的数据增强研究

在抽取式阅读理解中,语言模型在训练数据较少情况下的表现不佳,使用EDA方法虽能有效增加数据量,但会造成数据中语义信息损失,导致模型训练效果不佳。针对上述问题,结合EDA提出面向少样本情况下抽取式阅读理解的数据增强方法,在保留数据中问题正确答案的前提下对数据进行单词级和句子级数据增强。同时,为了对句子语义影响最小的单词进行数据增强,使用基于语义相似度的数据增强方法(DASS)计算句子中某一个单词删除前后的语义相似度,以判断该单词对句子语义的影响,选择对语义影响最小的单词进行数据增强,提升训练数据质量,以提升语言模型鲁棒性。在HotpotQA数据集上的实验结果表明,DASS可以解决模型在样本数量较少时获取语义信息不足的问题,在样本数量为500时,模型预测的F1值提升23.94%,在对整个数据集使用该方法时,模型预测的F1值提升了2.54%。

阅读理解中多项选择的三重匹配与对比正则算法

多项选择由文章、问题和选项三部分组成,主要任务是根据文章和问题在多个选项中找出正确选项。已有一些算法对文章、问题和选项之间的匹配策略进行了一定程度的研究,但一般使用成对处理或双向匹配方法,无法充分融合文章、问题和选项。为此,提出一种三重匹配策略(TM),使用对比正则(CR)方法对答案进行区分处理,将文章、问题和答案三者中任意一个元素与其它元素进行匹配,以吸收其他两者的语义信息。实验表明,通过CR捕捉并强化正确答案和错误答案之间的差异,能让模型更好地识别正确与错误答案,以期为该领域的研究人员提供参考与借鉴。

基于格的数字签名及其聚合类变体的综述

数字签名作为一项重要的认证技术,使得人们能够在数字信息时代进行便捷的数字办公,在信息安全、身份认证、数据完整性、不可否认性等方面应用广泛.多重签名和聚合签名将数字签名压缩技术和批处理技术进行整合,极大节省了存储空间和传输带宽的消耗,适用于区块链比特币交易、电子投票、证书链认证等实际业务.随着量子计算机的快速发展,许多传统密码体制的安全性受到严重威胁,而格中的困难问题被认为是能够抵抗量子计算攻击的数学问题,所以格密码成为目前备受关注的一类能够抵抗量子计算攻击的公钥密码体制.因此,研究基于格的数字签名方案是使数字签名能够抵抗量子计算攻击的有效举措.本文主要围绕基于格的数字签名,包括普通数字签名、多重签名和聚合签名,对近些年的主要研究成果进行介绍和分析,对基于格的数字签名及其未来的研究方向进行了总结.