结合非对称卷积与特征蒸馏的图像超分辨率重建网络

为了进一步提高单幅图像超分辨率(single image super-resolution,SISR)轻量化网络的图像重建效果,基于轻量化网络RFDN,提出一种结合非对称卷积与特征蒸馏的图像超分辨率重建网络(asymmetric convolution distillation network,ACDN)。首先利用非对称卷积构建特征提取模块,在残差块中并联2个不同卷积核的非对称卷积,增强网络对特征的提取能力;其次利用均衡注意力机制与非对称卷积改进特征蒸馏模块,强化网络对高频信息的获取;最后在重建模块中加入均衡注意力机制进一步提高网络的最终重建性能。实验结果表明:与RLFN、SMSR等先进轻量化网络相比,提出的ACDN网络能在5个标准数据集上重建出纹理细节更丰富的高质量图像,重建图像的峰值信噪比和结构相似性指标均有提升,并在网络模型的参数量和性能上达到了更好的平衡。

多阶段特征蒸馏加权的轻量级图像超分辨率网络

针对在轻量化网络中提取底层特征感受野不足以及缺乏对局部关键特征强化的问题,提出一种多阶段特征蒸馏加权的轻量级图像超分辨率网络LMSWN。首先,通过类金字塔模块扩大对浅层特征提取时的感受野,融合不同尺度的特征信息,丰富网络的信息流;其次,设计多阶段残差蒸馏加权模块用于增强方形卷积提取局部关键特征的能力,以恢复更多细节信息提高重建性能,同时将通道分离与1×1卷积结合共同实现对特征的逐级蒸馏,减少网络参数量;最后,引入2个自适应参数对多阶段残差蒸馏加权模块的2条支路特征进行联合学习,提升对不同层次特征信息的关注度,进一步增强网络的表征能力。实验结果表明,在Set 5、Set 14、BSD 100、Urban 100和Manga 109这5个基准测试集上的实验充分验证了所提网络的有效性,其性能超过了当前主流轻量级网络。

全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积(Adaptive Global Convolution,AGC)来提升有效感受野的范围,特征图重要性分析(Feature Map Importance Analysis,FMIA)模块进一步强化情感关键特征。音频亲和度融合(Audio Affinity Fusion,AAF)模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉(Interactive Emotional Dyadic Motion Capture,IEMOCAP)情感数据集上对该方法进行评估,加权准确率达到了75.2%,非加权准确率达到了75.8%,证明了该模型对提升情感识别效率的有效性。

多分支残差特征蒸馏网络的图像超分辨重建

近年来基于深度卷积神经网络的单幅图像超分辨率技术取得了很大进展.但特征提取方式单一,模型参数量大很难在移动端部署.为了解决这些问题,本文提出了一种多分支残差特征蒸馏算法.首先,通过多分支残差模块进行深层特征提取;其次,结合卷积、通道自适应激活函数和瓶颈注意力模块进行特征蒸馏及融合,减少平坦区域的大量冗余参数,在保证性能的同时降低模型复杂度;最后通过亚像素卷积层进行图像重建,得到最终的超分辨率图像.实验结果表明该算法在模型复杂度和性能上达到更好的平衡.与IMDN(Information Multi-distillation Network)相比,该算法的PSNR和SSIM分别有0.06~0.26dB与0.001~0.006的提升;在2倍超分重建结果中,与千万级参数量模型DBPN(Deep Back-Projection Networks)相比,本文算法参数量是其1/15,PSNR基本相同,SSIM提高0.001.

基于特征蒸馏的改进Ghost-YOLOv5红外目标检测算法

针对红外目标检测模型YOLOv5s实时性差、计算复杂度高的问题,提出了一种基于特征蒸馏的改进Ghost-YOLOv5红外目标检测算法。首先,利用GhostNet模块作模型剪枝;其次,使用特征蒸馏方法以及Mosaic和Copy-paste两种数据增强方法提高模型的检测精度;第三,构建了一个包含多种场景下人、机动车和非机动车目标的红外安防领域数据集。在数据集上测试实验结果表明:所提算法利用Ghost模块得到的模型参数量仅1.9 M,并通过知识蒸馏和数据增强的方法,使得模型在红外数据集上的精度提升了6.6%,总体mAP达到了90.1%。在海思平台上实测,模型的检测速度能达到25帧/s,平均检测精度能达到90.2%,与多种可移植于该平台的常用模型相比,均取得了更高的检测精度。

基于多粒度特征蒸馏的遥感图像场景分类研究

深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用。提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模型的监督信号,使得浅层模型能够同时学习高级与低级的语义特征,从而提高浅层模型的分类性能与泛化能力。在UC Merced Land-Use和SIRI-WHU2个数据集上的实验结果表明,该方法能使模型在大幅降低网络参数量和计算量的情况下明显提高分类性能,与传统知识蒸馏方法相比,其分类精度更高。

深度特征蒸馏轻量化超分辨率重建

在图像超分辨率重建领域,基于深度卷积神经网络的模型已取得显著效果,但移动设备的部署和实时应用场景的需求使得模型轻量化成为亟待解决的问题。为了降低模型的参数量与计算量,本文基于残差特征蒸馏网络做了改进:将深度超参数化卷积引入到特征蒸馏模块中,使其能够学习到更多样化的特征。实验表明,本文模型与主流轻量化模型相比,在减少参数量与计算量的同时能够有效提升图像在密集纹理区域的重建效果。

跨尺度蒸馏特征感知的轻量化水下图像增强

水下图像增强技术能够提升水下图像的质量和可视性,在丰富数字媒体资源、水下探测、水下通信等领域具有重要应用价值。近年来,深度学习方法在水下图像增强方面取得了显著的效果。然而,现有的方法计算复杂度高,限制了它们在计算资源有限的场景中的使用。针对这一问题,提出了一种轻量化的水下图像增强方法,该方法基于跨尺度深度蒸馏特征感知,采用U型网络结构,在保证非线性抽象层级抽取的同时,大幅减少了模型参数量。实验结果表明,所提出方法在视觉效果和客观评价指标上均取得了具有竞争力的结果。

基于特征蒸馏的变分编码器交通流预测模型

针对交通流数据高维非线性和时空依赖性复杂,本文构建了基于特征蒸馏的变分贝叶斯编码器交通流预测模型.对每段时间序列对应的时间窗口特征,构建了基于多模态时间槽和空间槽的交通流特征提取模型.以时空槽特征提取模型作为特征知识蒸馏架构的输入.通过知识蒸馏结构提取的时空特征结晶体,利用教师模型指导学生模型的学习过程,从而提高学生模型的泛化能力.变分贝叶斯编码器对交通流时空特征结晶编码获取交通流数据的隐变量,根据隐变量的生成采样,利用解码器将其解码重构成新的预测值.实验结果表明,本文提出的模型预测性能显著提升,且中长期预测中鲁棒性更优.

联合归一化模块和多分支特征的行人重识别

针对行人重识别技术中存在特征挖掘不充分的问题,提出一种联合归一化模块和多分支特征的行人重识别模型。在主干网络中嵌入注意力机制引导的实例归一化模块,减轻背景等杂波信息的影响。在双级特征融合模块对局部特征进行加权后再聚合形成对行人特征的更细节表达。联合平滑交叉熵损失、三元组损失以及跨分支特征蒸馏损失对网络进行优化。所提模型在Market-1501和DukeMTMC-ReID数据集上首位准确率分别达到了95.7%和89.2%。实验结果表明,该模型增强了对图像特征的提取。

基于特征约束蒸馏学习的视觉异常检测

针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征.由于教师网络的特征表达能力较强,特征中心策略从教师网络中动态地为学生网络生成正常样本的特征表示中心,从而提升学生网络对正常数据特征输出的描述能力,进而扩大了学生网络和教师网络对于异常数据的特征差异;另一方面,为了最小化学生网络和教师网络在正常图像特征表示上的差异,引入格拉姆(Gram)损失函数对学生网络编码层之间的关系进行约束.在3个异常检测通用数据集和1个真实工业异常检测数据集上进行了实验验证,相比当前最优方法,所提方法取得了显著的性能提升.

多任务下的特征分布蒸馏算法研究

卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压缩技术中的特征蒸馏算法进行了研究。针对特征蒸馏中利用教师网络特征图指导学生网络并不能很好地锻炼学生网络特征拟合能力的问题,提出基于特征分布蒸馏算法。该算法利用条件互信息的概念构建模型特征空间的概率分布,并引入最大平均差异(maximum mean discrepancy,MMD)设计损失函数以最小化教师网络和学生网络特征分布间的距离。在知识蒸馏的基础上利用toeplitz矩阵对学生网络进行权重共享操作,进一步节省了模型的存储空间。为验证在特征分布蒸馏算法训练下学生网络的特征拟合能力,在图像分类、目标检测和语义分割三种图像处理任务上进行了实验验证,实验表明所提算法在以上三种学习任务中的表现均优于对比算法且实现了不同网络架构间的蒸馏。

多层次自适应知识蒸馏的轻量化高分遥感场景分类

提出一种多层次自适应知识蒸馏方法,以提升轻量化模型的性能.首先,针对遥感影像类别间差异程度不均衡的问题,通过改进输出层知识蒸馏中的温度机制,提出一种自适应温度机制,促进学生模型更好地学习大且深的教师模型输出层概率分布知识;然后,通过添加辅助卷积块来融入特征层的知识蒸馏方法,使学生模型学习教师模型的多层次知识;最后,在UCM、AID和NWPU这3个公开数据集上进行实验.结果表明:所提方法蒸馏后的学生模型参数量仅为教师模型的6%,其分类精度较蒸馏前最多可提升7.78%,比其他网络模型更便于部署在末端.

结合多层特征及空间信息蒸馏的医学影像分割

U-Net在医学影像分割领域是目前应用最广泛的分割模型,其“编码-解码”结构也成为了构建医学影像分割模型最常用的结构。尽管U-Net在许多领域实现了非常高的分割准确度,但是存在着计算复杂度高、推理速度慢、运行消耗内存大等问题,导致其难以在移动应用平台部署。为解决这一问题,提出了一种结合多层特征及空间信息蒸馏的医学影像分割方法TinyUnet。该方法使用轻量化的U-Net作为学生网络。考虑到小模型没有足够的学习能力,通过选择合适的蒸馏位置,对多层教师特征图进行蒸馏;同时加强教师网络深层特征图的边缘,并构建边缘关键点图结构,采用图卷积网络对学生网络进行空间信息蒸馏,从而补充重要的边缘信息和空间信息。实验表明:在3个医学影像数据集上,TinyUnet能够达到U-Net 98.3%~99.7%的分割准确度,但是将U-Net的参数量平均降低了99.6%,运算速度提高了约110倍;同时,与其他轻量化医学影像分割模型相比,TinyUnet不仅具有较高的分割准确度,而且占用内存更少,运行速度更快。

基于双源自适应知识蒸馏的轻量化图像分类方法

在知识蒸馏任务中,针对特征对齐过程中存在的特征信息丢失以及软标签蒸馏方法没有考虑不同样本差异性的问题,文中提出了一种双源自适应知识蒸馏(dual-source adaptive knowledge distillation,DSAKD)方法,从教师网络的特征层和软标签中获取更有判别性的知识,进一步提高轻量化学生网络的性能。一方面,提出了一种基于注意力机制的多层特征自适应融合模块,对教师网络和学生网络的中间层特征进行自适应融合,通过特征嵌入对比蒸馏策略优化学生网络的特征提取能力。另一方面,提出了一种自适应温度蒸馏策略,根据教师网络对每个样本的预测置信度为所有训练样本自适应分配不同的温度系数,从而为学生网络提供更有判别性的软标签。实验结果表明,提出的DSAKD方法在3个基准数据集上都取得了最优的蒸馏效果,显著地提高了轻量化学生网络的分类性能。具体而言,与对比方法中性能最优的方法相比,提出的DSAKD方法在CIFAR10、CIFAR100和ImageNet数据集上的平均Top-1验证准确率分别提高了0.46%、0.41%和0.59%。

基于Transformer的出铝量决策算法研究与应用

在传统电解铝工业生产中,铝电解槽的生产决策通常根据工艺技术人员多年的经验制定,其中出铝量是一个具有强耦合性的重要决策变量,其决策的好坏对电解槽的生产稳定性和产铝效率具有直接且重要的影响。本文提出了一种可深度挖掘数据频率特征和特征筛选的Transformer架构模型FDisformer,优化了传统的Transformer的encode编码层,进而挖掘数据趋势变化和更深层次的特征信息,同时引入了特征蒸馏模块,确保筛选出与出铝量决策这一任务强相关的特征。FDisformer在出铝量决策方面具有更高的性能指标,该模型的建立可以为后续的铝电解槽出铝量每日决策提供参考依据。

基于密集残差连接U型网络的噪声图像超分辨率重建

现有的图像超分辨率重建网络难以适用于煤矿井下噪声密集的应用场景,且多数网络通过增加深度提升性能会导致无法有效提取关键特征、高频信息丢失等问题。针对上述问题,提出了一种密集残差连接U型网络,用于对低分辨率噪声图像进行超分辨率重建。在特征提取路径中引入基于密集残差连接的去噪模块,通过密集连接的方式对图像特征进行充分提取,再利用残差学习的特点对低分辨率噪声图像进行有效去噪;在重建路径中引入残差特征注意力蒸馏模块,通过在残差块中融入增强特征注意力块,对不同空间的特征赋予不同的权重,加强网络对于图像关键特征的提取能力,同时减少图像细节特征在残差块中的损失,从而更好地恢复图像细节信息。在煤矿井下图像数据集及公共数据集上进行了对比实验,结果表明:在客观评价指标上,所提网络的结构相似度、图像感知相似度均优于对比网络,且在复杂度及运行速度上有着较好的均衡;在主观视觉效果上,所提网络重建的图像基本消除了原有图像噪声,有效恢复了图像的细节特征。

角度差异强化的光场图像超分网络

由于采用了更为先进的成像技术,光场相机可以同步获取场景的空间信息与角度信息。该技术以牺牲空间分辨率为代价,实现了更高维度的场景表示。为了提高光场相机拍摄场景的空间分辨率,本文搭建了角度差异强化的光场超分辨率重构网络。该网络先采用8个多分支残差块实现浅层特征提取,再采用4个强化的角度可变形对准模块实现深层特征提取,最后采用6个简化的残差特征蒸馏模块和像素洗牌模块完成数据重构。所提网络在利用光场角度差异完成空间信息超分时,更加强调视图自身特征的深入挖掘,以获得更加丰富的视图间差异特征。在5组公开的光场数据集上对本文所提网络的性能进行了验证,本文算法获得了PSNR、SSIM值更高的高分辨率光场子孔径图像。

特征自蒸馏机制下的弱监督目标检测

目前基于图像级注释信息的主流弱监督目标检测算法常常出现局部定位问题,仅仅关注图像中局部高辨别性的区域,却忽略了完整的目标。为了解决这种问题,提出了一种端对端的基于特征自蒸馏的弱监督目标检测网络(FSDNet),其中可拆卸的特征自蒸馏模块充分利用不同层级特征表示中的细节信息和语义信息,并通过特征自蒸馏损失约束网络训练,在未增加测试期计算代价的前提下增强了检测器综合性能;同时构造回归分支简单却有效地提取并利用特征中隐性位置信息,并通过改善监督信息生成算法、平衡优化损失等策略进一步改善了弱监督目标检测器的局部定位问题。在Pascal VOC 2007、VOC 2012、MS-COCO等大规模公开数据集上的实验结果表明,FSD-Net拥有比Baseline及近年主流方法更好的检测性能,有效地缓解了局部定位问题。

融合多层门控与关系图注意力的方面情感分析

作为目前方面情感分析领域的主流技术,序列化神经网络和图神经网络分别聚焦于语义和句法关系建模。针对序列化神经网络无法准确捕获复杂句的远距离依赖关系,图神经网络缺乏局部序列语义以及精细的最终情感表达等问题,设计了一种多层门控与关系图注意力混合网络。采用预训练模型ERNIE 2.0生成语境化表示,构建方面门控循环单元捕获有关方面的序列语义信息,使用关系图注意力网络学习局部序列语义中的高阶句法特征。最后由双重蒸馏门控网络构成的特征蒸馏双通道,强化特定方面与上下文之间的交互,过滤语义和句法中的冗余信息,获取兼具语义和句法关系的方面情感增强表示。在Twitter和SemEval2014数据集上进行的实验表明,相较于八种先进基线方法,所提出的混合网络具有更优的分类性能。