火箭发动机故障检测的快速增量单分类支持向量机算法

为解决液体火箭发动机故障诊断正负样本不平均问题,以及实现发动机稳态工作段自适应故障检测,建立了基于快速增量单分类支持向量机的异常检测模型。采取特征工程方法,对传感器获得的多变量时间序列进行特征提取。通过增量学习方法,对单分类支持向量机模型进行改进,并应用于液体火箭发动机异常检测,使单分类支持向量机检测模型具备对不同台次、不同工况的自适应性,提高了模型的计算速度。对多台次热试车数据的分析结果表明,该模型十分有效,训练速度快,具备实用价值。

基于YOLOX的类增量印刷电路板缺陷检测方法

为了应对更加实际的增量式印刷电路板缺陷检测场景,本文将知识蒸馏与YOLOX相结合,提出了一种基于YOLOX的类增量印刷电路板缺陷检测方法。在只使用新训练数据的情况下,模型能够检测出所有学过的缺陷类型。通过对模型的输出特征和中间特征使用知识蒸馏来促进旧缺陷类别知识的传递,使得学生模型能够有效保留教师模型在旧缺陷类别上的检测性能。实验结果表明,本文方法能够显著缓解增量学习过程中的灾难性遗忘问题,在两阶段增量场景下,模型对所有缺陷的平均检测精度为88.5%,参数量为25.3×106,检测速度为39.8 f/s,便于工业设备部署的同时,可以满足增量式检测场景下印刷电路板(printed circuit board,PCB)质检的检测精度和检测速度要求。

基于记忆提炼的对比度量增强在线类增量学习图像分类方法

图像分类中类增量学习具有知识灾难性遗忘现象,现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式,忽略了新旧样本之间的特征关系。为此,提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法(cME 2),设计了两种新的正负样本对,对旧样本信息进行了加强重复再利用,强化了模型对冗余特征和共性特征的表达能力,基于最近邻均值分类器改善了嵌入空间中的样本分布合理性。最后,通过对比实验和消融实验验证了所提方法的有效性和高效性。

视觉语言模型引导的文本知识嵌入的小样本增量学习

真实场景往往面临数据稀缺和数据动态变化的问题,小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘.已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器,实现模型对于新数据的迁移和旧数据的抗遗忘.但是少量数据的视觉特征往往难以建模一个类别的完整特征分布,导致上述算法的泛化能力较弱.相比于视觉特征,图像类别描述的文本特征具有较好的泛化性和抗遗忘性.因此,在视觉语言模型的基础上,研究基于文本知识嵌入的小样本增量学习,通过在视觉特征中嵌入具有抗遗忘能力的文本特征,实现小样本增量学习中新旧类别数据的有效学习.具体而言,在基础学习阶段,利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述,并通过文本编码器实现预训练视觉特征到文本空间的映射.进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征.在增量学习阶段,提出类别空间引导的抗遗忘学习,利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器,实现新数据知识学习的同时复习旧知识.在4个数据集(CIFAR-100,CUB-200,Car-196和mini Image Net)上验证算法的有效性,证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.

基于因果关系的小样本类增量学习

相较于一次性获得所有训练数据的批量学习,小样本类增量学习具有更高的现实意义,它既能使机器学习更接近人类智能水平,又可以减少深度学习模型对大量训练数据的依赖。为缓解小样本类增量学习对旧类的遗忘,同时使分类过程不受任何因素的干扰,提出一种基于因果关系的小样本类增量学习策略。首先,采用干预式小样本学习剔除预训练知识所产生的混淆影响,使样本特征与分类标签具有真实的因果关系;其次,采用基于因果效应的类增量学习方法,通过在旧数据与最终标签间建立通路达到数据重放的因果效应,缓解灾难性遗忘;最后,采用随机情节选择策略增强特征的可扩展性,使它适应后续的增量学习。在miniImageNet与CIFAR100数据集上的实验结果表明,所提方法在1~8轮的增量学习过程中取得了最优的平均精度,同时具有一定稳定性、可解释性。

基于加权宽度学习的异常用电辨识研究

针对异常用电与正常用电样本类别不平衡关系及现有模型训练耗时、缺乏可扩展性的问题,提出一种基于加权宽度学习(weighted broad learning system,WBLS)的异常用电辨识模型。首先,考虑到样本间类别不平衡关系,在目标函数中使用样本权重约束每个类对模型的贡献,样本权重根据样本分布情况个性化赋予,并通过岭回归广义逆高效地建立WBLS辨识模型。其次,基于新增加的用电样本数据,通过增量学习算法对模型进行更新和重构。实验结果表明该模型提高了对异常用电样本的辨识精度,并在增加用电样本的情况下,可以快速地对旧模型进行更新和扩展。

DFE3D:双重特征增强的三维点云类增量学习

随着点云采集技术的发展和三维应用需求的增加,实际场景要求针对流动数据持续动态地更新点云分析网络.对此,提出了双重特征增强的三维点云类增量学习方法,通过增量学习使点云目标分类技术能够适应新数据中不断出现新类别目标的场景.该方法通过对点云数据特性和旧类信息的研究分别提出了差异性局部增强模块和知识注入网络,以缓解类增量学习中的新类偏好问题.具体而言,差异性局部增强模块通过感知丰富的局部语义,表征出三维点云物体中不同的局部结构特性.随后,根据目标中每个局部结构的全局信息获得各个局部的重要性权重,强化对差异性局部特征的感知,从而提高新旧类特征差异性.另外,知识注入网络将旧模型中的旧知识注入新模型的特征学习过程中,增强后的混合特征能够更有效缓解旧类信息不足导致的新类偏好加剧现象.在三维点云数据集ModelNet40,ScanObjectNN,ScanNet,ShapeNet上的实验表明,该方法与现有最优方法相比,在4个数据集上的平均增量准确率有2.03%、2.18%、1.65%、1.28%提升.

基于开集类增量学习的人类活动识别研究

通过可穿戴传感器采集的时间序列信号进行人类活动识别(HAR)需基于训练样本的已知类别进行,然而现实中可能面临不断增加的新类别数据,将新类别数据与已知类别有效区分是现阶段人类活动识别的研究热点。类增量学习旨在目标数据不断增加时用新的知识更新已有模型,同时开集识别算法可以为分类器提供拒绝选项,以便识别出模型未见过的目标类型。该文设计了一种基于类增量学习的开集动作识别框架,该框架能够连续识别和学习新的未知类,将极值模型(EVM)与增量学习相结合,对于特征进行PCA降维,分别计算特征之间的余弦、欧式和曼哈顿距离,对新数据进行学习和识别。仿真实验结果表明,对比现有的模拟开集工作,该文所提出的模型在UCI和PAMAP2数据集上具有良好的表现,其中经过PCA降维和计算余弦距离取得了更高的精度。在类增量学习实验中,该模型既能够保持良好的精度,同时也能有效地辨别新类。

基于脑启发的类增量学习

现有的类增量学习方法多是采用存储数据或者扩展网络结构,但受内存资源限制不能有效缓解灾难性遗忘问题。针对这一问题,创新地提出基于脑启发生成式重放方法。首先,通过VAE-ACGAN模拟记忆自组织系统,提高生成伪样本的质量;再引入共享参数模块和私有参数模块,保护已提取的特征;最后,针对生成器中的潜在变量使用高斯混合模型,采样特定重放伪样本。在MNIST、Permuted MNIST和CIFAR-10数据集上的实验结果表明,所提方法的分类准确率分别为92.91%、91.44%和40.58%,显著优于其他类增量学习方法。此外,在MNIST数据集上,反向迁移和正向迁移指标达到了3.32%和0.83%,证明该方法实现任务的稳定性和可塑性之间的权衡,有效地防止了灾难性遗忘。

基于特征分布学习的小样本类增量学习

关注了一个非常具有挑战性的问题:深度神经网络的小样本类增量学习。其中深度神经网络模型可以从少量的样本中逐步学习新知识,同时不会忘记已学习的旧知识。为了平衡模型对旧知识的记忆和对新知识的学习,提出了一个基于特征分布学习的小样本类增量学习方法。在基类上学习模型以获得一个性能良好的特征提取器,并使用每类的特征分布信息来表示知识。将已学习的知识与新类的特征一起映射到一个新的低维子空间中,以统一地回顾旧知识与学习新知识。在子空间内,还为每个新类生成了分类权值初始化,以提高模型对新类的适应性。大量实验表明,该方法可以有效地减轻模型对已学习知识的遗忘,同时提高模型对新知识的适应性。

基于深度学习的类别增量学习算法综述

近年来,深度学习模型在众多领域取得了广泛成功.现有的深度学习模型大多部署在静态环境下,依赖提前收集好的数据集进行离线训练,模型一经确定,便无法进一步更新.然而,现实中开放动态的环境往往存在以流形式不断到来的数据,包括随时间演进不断产生的新类别数据.因此,理想的机器学习模型应能够从流式数据中不断学习新类,从而增强自身的判别能力.这样的学习范式被称作“类别增量学习”(class-incremental learning),且近年来已成为机器学习领域的研究热点.面对流式数据,直接使用新类别样本训练模型会使其遗忘旧类别的数据,造成整体性能的下降.因此,设计增量学习模型时,需确保模型在学习新类的同时也能够抵抗灾难性遗忘.本文从机器学习的三个重要方面(数据层面、参数层面、算法层面)着眼,总结和归纳近几年基于深度学习的类别增量学习算法.此外,本文还在基准数据集上对10种典型算法进行了实验验证,并从中总结出适应类别增量学习的一般性规律.最后,本文对基于深度学习的类别增量学习算法目前存在的挑战加以分析,并展望未来的发展趋势.

基于声呐图像的类别增量学习方法研究

由于声呐图像分辨率低、样本数少,现有的类别增量学习网络对历史任务目标出现了严重的灾难性遗忘问题,导致所有任务目标的平均识别率降低。基于生成重放的框架模式,提出了一种改进的类别增量学习网络,设计搭建新的深层卷积生成对抗网络取代变分自编码器,作为生成重放增量网络的重构模型,提升图像的重构效果;构建新的卷积神经网络取代多层感知机,作为生成重放增量网络的识别网络,提升图像的分类识别性能。结果表明,改进的生成重放增量网络缓解了历史任务目标的灾难性遗忘问题,显著提高所有任务目标的平均识别率显著提高。

基于原型回放和动态更新的类增量学习方法

灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更新阶段保留新类的原型后,进一步采用动态更新策略对旧类的原型进行实时更新。具体地,在学习新任务后,该策略基于当前可访问数据的已知偏移,来实现在旧类原型中存在的未知偏移的近似估计,并最终完成对旧类原型的更新,从而缓解原始的旧类原型与当前的特征映射间的不匹配。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明,所提出的基于原型回放和动态更新的类增量学习方法能够有效地减少对旧知识的灾难性遗忘,提高模型在类增量学习场景中的分类性能。

面向多姿态点云目标的在线类增量学习

针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方便提取目标的有效几何信息;其次,基于SE(d)(d=2,3)群对网络进行平移旋转等变性改进,使网络能够提取更丰富的几何信息,从而降低模型在每个任务中受目标姿态的影响;最后,根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明,在面对固定姿态目标MNIST、CIFAR-10时,本文方法的最终平均精度分别达到了88%和42.6%,与对比方法结果相近,但最终平均遗忘率明显优于对比方法,分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时,本文方法依旧能很好地保持在固定姿态目标中的表现,基本不受目标姿态的影响。此外,在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响,同时能缓解灾难性遗忘,具有很好的稳定性和可塑性。

一种新的类增量学习方法

提出一种新的基于超椭球的类增量学习算法。对每一类样本,在特征空间求得一个包围该类尽可能多样本的最小超椭球,使得各类样本之间通过超椭球隔开。类增量学习过程中,只对新增类样本进行训练。分类时,通过计算待分类样本是否在超椭球内判定其所属类别。实验结果证明,该方法较超球方法提高了分类精度和分类速度。

基于超球支持向量机的类增量学习算法研究

提出了一种超球支持向量机类增量学习算法。对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开。类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果。分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷。实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度。

一种新的多类SVM方法及其在文本分类中的应用

提出一种将SVM扩展到多类文本分类问题的新方法,此方法有增量模式及批模式两种应用途径。其中,批模式提供了一种其他多类SVM替代方法;而增量模式在重复利用原有模型的基础上将新增类别的知识信息以增量方式更新到分类系统,整个分类器不需要全部重新学习,需要的计算量较小。实验表明增量方法大大减少新类增加时分类器更新所需要的学习步骤和时间;两种模式的分类效果与其他方法相当。

改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.

基于支持向量机的多分类增量学习算法

支持向量机被成功地应用在分类和回归问题中,但是由于其需要求解二次规划,使得支持向量机在求解大规模数据上具有一定的缺陷,尤其是对于多分类问题,现有的支持向量机算法具有太高的算法复杂性。该文提出一种基于支持向量机的增量学习算法,适合多分类问题,并将之用于解决实际问题。

一类增量式支持向量机的分析

针对训练数据发生增量改变时,标准一类支持向量机的批处理算法需要重新进行训练,不适合在线增量环境学习的问题,提出一种详细的增量式标准一类分类向量机算法,并通过理论分析对该算法的可行性和有限收敛性进行了证明,确保该算法的每步调整都是可靠的,并确保该算法通过有限步调整最终收敛到问题的最优解。在标准数据集上的实验结果验证了理论分析的正确性。