基于强化正则的小样本自动摘要方法

文本自动摘要旨在从文本信息中提取主要语句以压缩信息。现有生成式自动摘要方法无法充分利用预训练模型对原文语义进行学习,导致生成内容易丢失重要信息,当面对样本数量较少的数据集时容易发生过拟合。为了解决此类问题并获得更好的微调性能,文中使用预训练模型mT5(multilingual T5)作为基线,通过结合R-drop(Regularized dropout)对模型微调进行强化正则来提高模型学习能力,同时利用Sparse softmax减少预测生成的模糊性来确保输出准确度。模型在中文数据集LCSTS和CSL上通过计算BLEU(Bilingual Evaluation Understudy)进行优化方法超参数测试,并采用Rouge作为评测指标分别对数据集进行了不同数量级的评测。实验结果表明,经过优化的预训练模型能够更好地学习原文语义表征,在小样本情况下模型能够保持较好的拟合效果,并且能够生成实用性较高的结果。

基于深度学习和R-Drop正则的入侵检测模型

在入侵检测分类任务中,传统的机器学习模型其性能往往不能达到较好的效果,深度学习技术泛化能力更强,因此研究深度学习算法并应用到入侵检测检测系统中是有十分有意义的。论文经过研究,针对网络流量2分类问题,提出了一种基于FNet分类模型——TFN;针对网络流量多分类问题,提出了一种基于R-Drop正则的深度学习多分类模型。论文使用入侵检测数据集NSL-KDD作为实验数据,实验结果表明,在NSL-KDD的数据集上,提出的2分类模型效果优异,准确度达到99%;而提出的多分类方法,与普通训练方法相比也提升了1%~2%的准确度。

基于约束图正则的块稀疏对称非负矩阵分解

现有的基于对称非负矩阵因式分解(Symmetric Nonnegative matrix Factorization, SymNMF)算法大都仅依赖初始数据构造亲和矩阵,并且一定程度上忽视了样本有限的成对约束信息,无法有效区分不同类别的相似样本以及学习样本的几何特征。针对以上问题,提出了基于约束图正则的块稀疏对称非负矩阵分解(Block Sparse Symmetric Nonnegative Matrix Factorization Based on Constrained Graph Regularization, CGBS-SymNMF)。首先,通过先验信息构造约束图矩阵,用于指导类别指示矩阵区分高相似度的不同类别样本;然后,引入PCP-SDP(Pairwise Constraint Propagation by Semi-definite Programming)方法,利用成对约束学习一个新的样本图映射矩阵;最后,利用“勿连”约束构造不相似矩阵,用于引导一个块稀疏正则项,以增强模型抗噪能力。实验结果表明,所提算法具有更高的聚类精确度和稳定性。

基于流形正则的堆叠胶囊自编码器优化算法

针对堆叠胶囊自编码器存在检测性能慢、不能更好挖掘图像局部特征的问题,本文提出基于流形正则的堆叠胶囊自编码器优化算法。采用Scharr滤波器对堆叠胶囊自编码器模型中的图像进行重建,加强图像目标检测的精度,并在损失函数中引入流形正则项,从而加强对原始数据空间局部特征的提取,最终使用基于流形正则的堆叠胶囊自编码器学习参数,选择出更加具有区别性的特征。在MNIST和Fashion MNIST数据集上的实验结果显示,该优化算法相比于原网络结构,图像分类准确率分别提高了0.26和9.23个百分点,且模型训练速度也得到较大提高。

自适应邻居和图正则的表示学习

在传统基于图表示的聚类算法中,表示矩阵计算和聚类通常分开进行,导致最后获取的表示矩阵可能不能代表最优的聚类结构.为解决此问题,本文提出一种新的聚类模型,它能在学习数据表示矩阵的同时获取合适的聚类结构.首先,基于局部距离度量,通过为每个数据点自适应地分配最优近邻学习数据表示矩阵.然后,通过在模型中施加约束项,降低噪声和离群点的影响,学习更优的表示矩阵.最后,对已学习到的数据表示矩阵的拉普拉斯矩阵施加秩约束,使得最终学习到的表示矩阵中的连通分量个数与簇个数相同,得到能够表征聚类结构的表示矩阵.实验将所提出的方法与11个算法在7个数据集上进行了比较,结果验证了该算法的有效性.

结合注意力互斥正则的细粒度图像分类

细粒度图像分类(FGVC)具有类间差异小、类内差异大等特点,提升该任务效果的关键在于识别目标的判别性部位。目前基于注意力机制的方法一般会识别一个或者两个判别性部位,效果不佳。为此,提出一种注意力互斥正则机制的细粒度模型(AMEM),通过限制注意力图的不同通道关注不同目标部位,引导模型关注目标的多个判别性部位。在CUB-200-2011、FGVC-Aircraft、Stanford Cars和Stanford Dogs等4个公开数据集上进行评测,实验表明AMEM取得了90.5%、94.3%、95.5%和93.2%的准确率,效果优于对比实验中的其他细粒度模型;此外热力图显示可以识别出指定数目的判别性部位。AMEM在提升预测性能的同时,也能提供一定程度的预测可解释性。

基于零模正则的神经网络剪枝方法

本文提出一种有效的神经网络剪枝方法。该方法对神经网络训练模型引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型。对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到其等价的局部Lipschitz代理,然后通过用交替方向乘子法求解该Lipschitz代理模型对网络进行训练、剪枝。最后,对MLP和LeNet-5网络模型进行测试,分别在误差2.2%和1%下,取得97.43%和99.50%的稀疏度,达到很好的剪枝效果。

基于稀疏表示和学习图正则的高光谱图像特征提取

针对传统局部特征提取算法难以确定邻域参数,以及仅考虑数据间的单一结构而漏掉重要信息的问题,提出一种基于稀疏表示和学习图正则的局部判别与全局稀疏保持投影算法。该算法首先对稀疏表示模型施加基于学习的图正则器,用该改进的稀疏表示模型自适应揭示样本数据间的局部线性结构,通过局部判别模型全局集成算法来提取局部线性结构中的判别信息;利用基于学习图正则稀疏表示模型构建的新型稀疏图来揭示数据间的全局稀疏结构;使得数据的局部判别结构和全局稀疏结构在低维特征空间得以保持。通过1-近邻和支持向量机分类器对实验结果进行评估,在PaviaU和Indian Pines两个高光谱公共数据集上的实验显示,提出的局部判别与全局稀疏保持投影算法较对比算法取得了最好的性能,由于提取了全局和局部的判别信息,有效提升了高光谱图像的地物分类精度。

融合一致性正则与流形正则的半监督深度学习算法

半监督学习已被广泛应用于大数据分析。目前,基于一致性正则的方法是半监督深度学习的研究热点之一。然而这类方法没有考虑数据的流形结构,可能会导致部分相近的样本得到差异很大的输出,进而导致分类器性能下降。针对这个问题,提出了一种融合一致性正则与流形正则的半监督深度学习算法。该算法在对模型施加一致性约束的同时,对样本构图并加入平滑性损失,实现了每个样本点局部邻域的平滑以及邻近(相连)样本点之间的平滑,从而提高半监督深度学习算法的泛化性能。在多个图像和文本数据集上的实验结果表明,与其他的半监督深度学习算法相比,所提算法更有效。

一种具有非凸非光滑组合正则的图像恢复方法

为保证对含有较多纹理信息的图像有好的恢复性能,提出了一种具有非凸非光滑组合正则的图像恢复方法。一方面,利用一阶非凸非光滑正则在恢复图像的同时保护图像纹理信息;另一方面,采用二阶非凸非光滑正则降低一阶非凸非光滑正则引起的分层效应。交替方向法等用来克服该组合正则项非凸非光滑性带来的数值计算困难。最后,不同污染环境下的仿真实验结果表明算法恢复图像的信噪比、峰值信噪比、图像相似度评价值均优于比较算法恢复结果。

非正则的完全广义四角系统

探讨了基本非正则完全广义四角系统的判定方法,得到了如下结论:完全广义四角系统G是基本但非正则的当且仅当满足以下条件; (1)G的所有完美匹配组成的集合K可分成两个互不相交的子集K1和K2; (2)限制在Ki(i=1,2)下的一些固定单边组成一个第二型g-割Ri; (3){R1,R2}是一个标准组合割．

正则的正实部函数的导数估计

讨论了正则的正实部函数的导数估计问题 ,利用正实部函数的性质 ,得到三阶导数。

基于色度分析与L1加权正则的镜面高光抑制算法

针对成像过程中镜面高光掩盖目标表面特征,从而影响诸多视觉应用的问题,提出一种基于色度分析与L1加权正则约束的镜面高光抑制算法。该算法不依赖于聚类、分割等前期处理;结合目标图像强度分布,提出了中值无高光机制(MSF),有效分离高光分量,抑制噪声干扰;同时联合色度分析与局部色彩相关性进行L1加权正则约束,融合变量分裂法进行快速求解,高效恢复目标原有的纹理、色彩和边缘等细节信息。实验结果表明,对于不同目标场景,该算法能实现镜面高光分量的准确抑制分离,目标原有的纹理结构、色彩等特征得到极大保留,算法可靠性强,计算时效性高。

基于正则的Newton迭代法的内部Neumann反散射问题

利用正则的Newton迭代法研究了具有Neumann边界条件的内部腔体反散射问题。首先,证明了由内部点源测量数据可以唯一确定具有Neumann边界条件的腔体的位置及其形状。然后,将此偏微分方程边界值问题转化为等价的非线性积分方程组,并运用正则的Newton迭代法求解此积分方程组的未知边界。最后,利用若干数值例子加以说明此方法的有效性与可行性。

END-正则的循环图

称图X是End 正则图如果它的自同态幺半群EndX是正则的幺半群 ,即关于任意自同态f存在一个自同态g使得fgf=f.本文对顶点度数小于 4的End 正则循环图进行了刻划 .

正则的符号蕴含正交模式(英文)

一对符号模式行(或列)向量是蕴含正交的,若存在一对与它们有相同符号模式的正交实行(或列)向量.一个没有零行或零列的n阶符号模式矩阵是符号蕴含正交的,若每一对行和列向量都是蕴含正交的.本文证明了当n为偶数时,存在k正则n阶符号蕴含正交模式的充分必要条件是1≤k≤n;当n≠5为奇数时,存在k正则n阶符号蕴含正交模式的充分必要条件是1≤k≤n且k≠2 ;当n=5时。

Banach空间中渐近正则的Lipschitz半群的不动点定理

本文首先定义了渐近正则的Ｌｉｐｓｃｈｉｔｚ半群的概念．其次，证明了ｐ一致凸Ｂａｎａｃｈ空间中渐近正则的Ｌｉｐｓｃｈｉｔｚ半群的不动点定理．同时也证明了具有正规结构系数的一致凸Ｅａｎａｃｈ空间中的渐近正则的Ｌｉｐｓｃｈｉｔｚ半群的一个新的不动点定理．

k正则的2.■_(1.3)图的周长

设G为k正则的2连通的不含K_(1.3)的图,则(ⅰ) c(G)≥min{|V(G)|,4k-2},且是最好可能的;(ⅱ)当|V(G)|≤5k-3时,G是哈密顿的。

基于流形正则的块增量距离尺度学习算法

在实时应用中,观测样本通常以数据块的形式依次达到,传统的批量距离算法难以进行学习.本文提出一种新颖的利用成对约束关系进行学习的块增量距离尺度算法.首先给出块增量学习的一般模型,并通过扩展约束集克服其容易"过拟合"的缺陷;然后引入流形正则项使得学习过程中数据块的局部邻域结构得以保持.实验结果表明,本文算法学习的距离尺度在测试精度、计算开销上优于现有的增量距离算法,并且在存储开销方面显著优于批量距离算法.

（W—W）CPCP与W—强正则的关系

本文证明了：若共轭空间Ｘ具有（Ｗ—Ｗ）ＣＰＣＰ，则Ｘ是Ｗ—强正则的．