基于中心损失函数的小样本SAR图像识别方法

提出了一种基于中心损失函数的监督学习方法,用于改善小样本下的合成孔径雷达(synthetic aperture radar,SAR)图像识别性能。该方法通过学习每个类别的类别中心,并惩罚样本的深度特征与其相应类别中心之间的距离,从而提高类间分离度和类内分散度。为了验证方法的有效性,将所提方法与常见的深度学习算法在MSTAR图像识别数据集上进行比较。实验结果表示,相较于其他深度学习模型,该方法在小样本情况下有着更为卓越的图像识别性能。

基于中心损失-改进卷积自编码器的滚动轴承半监督故障诊断

当前基于深度学习的旋转机械故障诊断技术,凭借其强大的逐层加工和内置特征变换功能受到广泛关注,然而传统用于故障诊断的深度网络需要大量标签数据,且诊断结果依赖于标签的数量和准确性。为此,提出一种基于中心损失-改进卷积自编码器(center loss-improved convolutional auto-encoder, CL-ICAE)的半监督故障诊断方法。该方法首先利用连续小波变换将故障信号转换为时频图,细化故障特征表征;之后构建改进的卷积自编码器网络结构,并引入批量归一化(batch normalization, BN)和Dropout,在特征提取阶段防止过拟合;之后在分类阶段,通过将中心损失(center loss)引入Softmax损失函数,构建联合损失函数,使故障特征实现类内距离更小,特征差异更大,进一步提高分类精度。最后,将所提方法通过凯斯西储大学轴承数据集和轴承故障试验平台进行验证,结果表明在少量标签样本情况下,均可实现有效的故障诊断,提升诊断准确率。

基于门控特征融合与中心损失的目标识别

针对目标活动、光线及摄像头距离等问题,提出一种基于门控特征融合与中心损失的目标识别方法.门控特征融合是为了弥补单一特征信息丢失时,身份识别准确率下降的缺陷.门控结构指导网络对输入的人脸、行人特征进行贡献量评估,再根据贡献量去分配权值,组合产生识别性更强的身份特征.通过添加中心损失函数,在引导网络下减少了特征的类内距离,使得特征更具判别性.实验结果表明,在自建数据集上所提方法的最终识别准确率最高可以达到76.35%,优于单特征识别方法以及多种融合方法,使用所提的融合损失函数后,平均识别准确率可提高2.63%.

中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。

角度余量损失和中心损失联合的深度人脸识别

针对当前人脸识别任务和人脸验证任务所面临的人脸识别准确率低、验证有误等安全隐患问题,为进一步增强深度特征的判别能力,提出了一种联合监督信号。首先,将角度余量损失和中心损失联合的损失函数用于人脸识别和人脸验证任务,实现最小化类内的变化以及最大化类之间的距离,这种深度特征之间的最小化和最大化可以达到人脸面部识别任务的理想选择。所提方法结合深度卷积神经网络在VGGFace2人脸数据集上对网络模型进行训练并在明星人脸数据集(CFS)和LFW人脸数据集上进一步微调网络模型进行人脸识别验证。实验结果表明,所提出的损失函数与传统的Softmax损失函数相比能够正确识别不同的人脸图像,而且进一步实现了不同类别之间的面部特征的最大可分离性。

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。

基于残差网络与中心损失的人脸识别

针对常规深度学习的人脸识别方法训练数据量巨大和训练难收敛的问题,提出一种基于残差网络与中心损失的人脸识别方法。利用生成对抗网络方法解决训练数据分布不均衡问题,利用数据增强方法解决数据不足问题;改进残差网络,使其匹配较小数据集,解决训练难收敛问题;将交叉熵损失与中心损失结合,作为模型训练过程中的监督信号,使类间分散、类内聚合。实验结果表明,在小数据的前提下,识别算法能够准确地识别出人脸。模型在测试集上的准确率达97.46%。

基于中心损失的条件生成式对抗网络的冷水机组故障诊断

针对冷水机组产生的故障数据不足,数据集中正常数据和故障数据数量不平衡,进而导致故障诊断精度下降的问题,提出一种基于中心损失的条件生成式对抗网络(central loss conditional generative adversarial network,CLCGAN)和支持向量机(support vector machine,SVM)的故障诊断方法。首先,CLCGAN利用少量真实故障数据生成新的故障数据;然后,将生成的故障数据与初始数据集混合,使正常数据与故障数据的数量达到平衡;最后,利用平衡数据集构建SVM模型进行故障诊断。在GAN生成冷水机组故障数据时,构建动态中心损失项并加入到目标函数中,利用动态的中心损失减少冷水机组生成的各种故障数据的类内距离,从而降低各个故障生成数据之间的重叠程度,增加生成数据的可靠性。在生成故障数据之前配置相应的故障标签,并输入到CLCGAN中指导数据生成过程,使生成的故障数据可以均衡地分布于各个故障类别。在ASHRAE 1043-RP数据集上对所提方法进行了验证,结果表明,相较于其他解决数据不平衡问题的故障诊断方法,所提方法具有更高的故障诊断准确率。

引入注意力机制和中心损失的表情识别算法

针对表情识别领域中识别准确率不高的问题,以卷积神经网络为基础,提出一种引入特征通道注意力机制和中心损失函数的表情识别算法。以VGG11作为网络主体框架,引入特征通道注意力机制,在每一层卷积层之后增加压缩激励(SE)模块,使模型学习到不同特征通道的重要程度,从而提高模型对特征通道的敏感性,进一步提升模型的特征表示能力。同时,通过中心损失函数联合Soft Max损失函数对神经网络进行监督训练,有效增加类间距离,保证类内紧密性,提高模型的识别准确率。通过在CK+数据集上测试,实验结果表明:改进模型的识别准确率达到97. 07%,高于其他典型算法。

基于多任务级联CNN与中心损失的人脸识别

开源机器学习库DLIB中的人脸检测对齐任务的运行时间长,检测精度不高,以及用三元组损失训练的模型收敛速度较慢。针对以上三点不足,提出了用mtcnn代替DLIB做人脸检测,并且以用softmax loss和center loss相结合的总损失函数来训练卷积神经网络。首先,将公开的海量人脸数据集做人脸对齐。然后,以总损失函数作为监督信号来完成BP前向传播,使得类内距离小,类间距离大,提高模型的特征辨识能力。最后,对人脸特征进行embedding,由高维度映射到低维度,减少参数量,提高识别率。实验表明,人脸检测对齐后的测试集比原始测试集在识别率上要高1%左右,并且mtcnn在运算速度和检测精度上优越于DLIB。用总损失函数训练的模型经过调参调优阶段在LFW标准测试集上识别率为99.6%,同时在megface标准的人脸库上也有较高的识别率。用自己创建的三张人脸图片成功验证了度量学习的特性。

基于图注意力和单中心损失的语音鉴伪

随着基于深度学习的语音合成技术的不断发展,语音鉴伪面临着巨大的挑战,为了应对多变的新兴合成技术,提高模型鉴别泛化性,设计了基于图注意力网络和单中心损失的语音鉴伪方案。该方案从音频前端处理、音频特征提取、损失函数选择、数据增强等方面进行提升,选用端到端的音频特征提取方式,经过数据增强后,基于图注意力的骨干网络,分别得到音频的频域图和时域图特征,两者融合后得到融合特征,最后结合单中心损失和二分类交叉熵损失,让网络具有更强的鉴别能力。在ASVspoof2019数据集上,对所提方案进行了实验,实验结果表明,所提方案的鉴别效果较好。

基于三元中心引导的弱监督视频异常检测

针对监控视频异常的复杂多样性和短时持续性,引入弱监督视频异常检测方法,旨在仅使用视频级别的标签进行异常检测,并提出了基于变分自编码器(VAE)与长短期记忆(LSTM)网络的异常回归网络VLARNet作为异常检测框架,以捕获时序数据中的时间依赖关系、去除冗余信息,保留数据的关键信息。该框架将异常检测视为回归问题,为学习检测特征,设计了异常分数回归的三元中心损失(TCLASR),与动态多实例学习损失(DMIL)相结合以进一步提高特征的区分能力。DMIL能够扩大异常实例与正常实例之间的类间距离,但同时也扩大了类内距离,而TCLASR可使来自同类的实例与类中心的距离更接近,与不同类中心的距离更远。对VLARNet在ShanghaiTech与CUHK Avenue数据集上进行了综合实验。实验结果表明,VLARNet能够有效利用视频数据的各种信息,在两个数据集上获得的受试者工作特征曲线下面积(AUC)分别为94.64%和93.00%,明显优于对比算法。

双分支协同策略的弱监督行为检测

弱监督行为检测旨在使用视频级标签定位动作的起止边界及识别相应的行为类别。现有的模型依然存在行为定位不完整、背景干扰等问题。对此,提出了双分支协同策略,为背景帧引入辅助类,采用权重共享机制的非对称式训练,使得该模型能够抑制背景帧的激活以提高定位性能。在优化分支提出中心损失项来学习每个动作类的聚类中心,并惩罚特征与其中心之间的距离及最小类内变化,从而增强特征的可辩别性;基本分支丢弃其动作类的中心区域,同时学习背景特征,通过迭代训练挖掘与其行为相关的不明显区域,有助于更好的模拟背景,实现行为的完整性定位。该算法在THUMOS14和ActivityNet1.2数据集上进行实验验证并与其他相关文献进行比较,结果表明了所提出算法的可行性。

基于多任务学习与注意力机制的多层次音频特征情感识别研究

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类,即便使用过大的模型,其过多的参数也会造成特征之间的耦合,不符合特征提取“高聚类,低耦合”的原则。由于注意到一些与情绪相关的协变量并没有得到充分利用,本文在模型中加入性别先验知识;将多层次音频特征分类问题转化为多任务问题进行处理,从而对多层次特征进行解耦再进行分类;针对特征分布的再优化方面设计了一个中心损失模块。通过在IEMOCAP数据集上的实验结果表明,本文提出模型的加权精度(WA)和未加权精度(UA)分别达到了71.94%和73.37%,与原本的多层次模型相比,WA和UA分别提升了1.38%和2.35%。此外,还根据Nlinear和Dlinear算法设计了两个单层次音频特征提取器,在单层次音频特征分类实验中取得了较好的结果。

基于改进多层感知机的工业过程微小故障诊断方法

针对工业过程数据的局部相关性、动态特性以及微小故障特征分布重叠的特点,提出一种中心聚合自注意力多层感知机(CPSAMLP)微小故障诊断方法。在数据处理中采用滑动窗口在时间维度和空间维度滑动,增强数据的动态特性,在传统多层感知机中,加入自注意力机制,对关键特征信息重新分配权值,在原有的交叉熵损失函数中引入中心损失项,使特征向量向特征中心靠拢,解决了微小故障特征分布重叠的问题,提升模型对微小故障的识别能力。在TE过程和青霉素发酵过程进行仿真验证,并与多层感知机(MLP)、自注意力多层感知机(SAMLP)方法进行对比,结果显示CPSAMLP故障诊断效果更优,平均准确率分别达到83.58%和97.35%,验证了所提方法的有效性。

暴时内辐射带高能质子的损失和恢复机制探究

我们利用NOAA17卫星对内辐射带高能质子的观测结果研究了大磁暴期间内辐射带质子通量的变化过程.我们发现内辐射带质子出现两种不同的暴时损失事件.在大磁暴发生时,内辐射带外边界质子通量会迅速减小,然后缓慢恢复;而在内辐射带中心区的质子通量(即南大西洋异常区(SAA)质子通量最大值)的暴时变化表现为质子通量的一个迅速的减小和迅速恢复.内辐射带外边界的损失事件主要发生在较低能量质子能档,而内辐射带中心处的损失事件发生在所有质子能档.两种损失事件中质子通量的不同变化意味着内辐射带质子可能有不同的损失和产生机制.通过分析,我们认为内辐射带外边界处质子通量损失事件主要由磁场曲率散射机制造成,而其恢复机制主要是宇宙线反照中子衰变(CRAND).内辐射带中心区(即南大西洋异常区质子通量最大处)质子通量损失事件可能与Dst效应有关.

基于局部特征与多损失融合的车型精细识别算法

针对车型精细识别率低的问题,提出基于局部特征与多损失融合的车型精细识别算法。首先通过Faster RCNN获取区分度较大的车脸区域;然后在识别网络中,借助VGG 16提取车脸特征,在输出层对SoftMax损失和中心损失进行加权融合,有效地引导网络学习类内距离较小、类间距离较大的特征。实验结果表明:所提算法在中山大学VRID-1数据集的识别准确率为98.80%,车型精细识别准确率得到了明显的提升。

基于DenseNet的人脸图像情绪识别研究

针对人脸情绪识别类内差异大,类间差异小的特点,结合学生人脸图像的线上课堂情绪识别的场景,提出多尺度空洞卷积模块提取不同空间尺度特征的稠密深度神经网络模型,实现自然场景下学生人脸图像识别.该模型主要由多尺度空洞卷积和DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征,空洞卷积减小特征图尺寸,减少DenseNet内存资源占用;最后在DenseNet网络中结合Adam优化器和中心损失函数.使用稠密网络的旁路连接,加强情绪特征传递和复用.研究结果表明:基于稠密深度神经网络的情绪识别网络模型能够有效提高情绪分类的准确率,模型对预处理后的FER2013+数据集识别准确率达到93.99%,可为线上教学反馈提供技术支持.

基于MIFNet的婴儿面部表情识别

婴儿面部表情智能化识别,可辅助看护人员更好地关注婴儿的身心健康.由于婴儿面部线条流畅且五官锐感偏弱导致面部表情类间相似性高于成人,为了解决类间相似性高的问题,提出多尺度信息融合网络.该网络整体分为2个阶段:在第1阶段使用融合模块在空间域与通道域双重维度下融合局部特征与全局特征,增强特征的表达能力;在第2阶段采用自适应深度中心损失,利用注意力机制估计融合特征的权重用以指导中心损失,促进婴儿表情特征的类内紧凑和类间分离.实验结果表明,多尺度信息融合网络在婴儿面部表情数据集中识别准确率达到95.46%,在AUC、召回率和F1得分3个评价指标上分别达到99.07%、95.88%和95.89%,与现有面部表情识别网络相比,识别效果最优.将多尺度信息融合网络在公开面部表情数据集上进行泛化性实验,准确率达到89.87%.

基于ViT的细粒度图像分类

为解决细粒度图像分类任务存在类内差异性和类间相似性大的问题,提出一种基于Vision Transformer(ViT)的细粒度图像分类方法。采取ViT作为特征编码网络,获取图像的全局特征表示;设计多级区域选择模块,捕捉细微的具有可判别性的层级化信息;利用一个简单且有效的中心损失函数,缩短深层特征与相应类中心在特征空间中的距离。在图像级标签的监督下,实现端到端的训练。结果在CUB-200-2011、NABirds以及Stanford Cars数据集上分别达到90.1%、90.2%和93.7%的分类准确率,超越当前最优算法。