期刊文献+
共找到24篇文章
< 1 2 >
每页显示 20 50 100
基于特征蒸馏的变分编码器交通流预测模型
1
作者 欧阳毅 汤文燕 黎晏伶 《电子学报》 EI CAS CSCD 北大核心 2024年第6期1938-1944,共7页
针对交通流数据高维非线性和时空依赖性复杂,本文构建了基于特征蒸馏的变分贝叶斯编码器交通流预测模型.对每段时间序列对应的时间窗口特征,构建了基于多模态时间槽和空间槽的交通流特征提取模型.以时空槽特征提取模型作为特征知识蒸馏... 针对交通流数据高维非线性和时空依赖性复杂,本文构建了基于特征蒸馏的变分贝叶斯编码器交通流预测模型.对每段时间序列对应的时间窗口特征,构建了基于多模态时间槽和空间槽的交通流特征提取模型.以时空槽特征提取模型作为特征知识蒸馏架构的输入.通过知识蒸馏结构提取的时空特征结晶体,利用教师模型指导学生模型的学习过程,从而提高学生模型的泛化能力.变分贝叶斯编码器对交通流时空特征结晶编码获取交通流数据的隐变量,根据隐变量的生成采样,利用解码器将其解码重构成新的预测值.实验结果表明,本文提出的模型预测性能显著提升,且中长期预测中鲁棒性更优. 展开更多
关键词 特征蒸馏 多模态时间槽 空间槽 变分贝叶斯 生成式模型 变分推断
下载PDF
结合非对称卷积与特征蒸馏的图像超分辨率重建网络
2
作者 朱磊 冯达 +2 位作者 朱奇伟 赵涵 王倩倩 《西安工程大学学报》 CAS 2024年第2期93-100,共8页
为了进一步提高单幅图像超分辨率(single image super-resolution,SISR)轻量化网络的图像重建效果,基于轻量化网络RFDN,提出一种结合非对称卷积与特征蒸馏的图像超分辨率重建网络(asymmetric convolution distillation network,ACDN)。... 为了进一步提高单幅图像超分辨率(single image super-resolution,SISR)轻量化网络的图像重建效果,基于轻量化网络RFDN,提出一种结合非对称卷积与特征蒸馏的图像超分辨率重建网络(asymmetric convolution distillation network,ACDN)。首先利用非对称卷积构建特征提取模块,在残差块中并联2个不同卷积核的非对称卷积,增强网络对特征的提取能力;其次利用均衡注意力机制与非对称卷积改进特征蒸馏模块,强化网络对高频信息的获取;最后在重建模块中加入均衡注意力机制进一步提高网络的最终重建性能。实验结果表明:与RLFN、SMSR等先进轻量化网络相比,提出的ACDN网络能在5个标准数据集上重建出纹理细节更丰富的高质量图像,重建图像的峰值信噪比和结构相似性指标均有提升,并在网络模型的参数量和性能上达到了更好的平衡。 展开更多
关键词 图像超分辨率 特征蒸馏 非对称卷积 注意力机制 RFDN网络
下载PDF
多阶段特征蒸馏加权的轻量级图像超分辨率网络
3
作者 杨胜荣 车文刚 +1 位作者 高盛祥 赵云莱 《计算机工程与科学》 CSCD 北大核心 2024年第8期1433-1443,共11页
针对在轻量化网络中提取底层特征感受野不足以及缺乏对局部关键特征强化的问题,提出一种多阶段特征蒸馏加权的轻量级图像超分辨率网络LMSWN。首先,通过类金字塔模块扩大对浅层特征提取时的感受野,融合不同尺度的特征信息,丰富网络的信息... 针对在轻量化网络中提取底层特征感受野不足以及缺乏对局部关键特征强化的问题,提出一种多阶段特征蒸馏加权的轻量级图像超分辨率网络LMSWN。首先,通过类金字塔模块扩大对浅层特征提取时的感受野,融合不同尺度的特征信息,丰富网络的信息流;其次,设计多阶段残差蒸馏加权模块用于增强方形卷积提取局部关键特征的能力,以恢复更多细节信息提高重建性能,同时将通道分离与1×1卷积结合共同实现对特征的逐级蒸馏,减少网络参数量;最后,引入2个自适应参数对多阶段残差蒸馏加权模块的2条支路特征进行联合学习,提升对不同层次特征信息的关注度,进一步增强网络的表征能力。实验结果表明,在Set 5、Set 14、BSD 100、Urban 100和Manga 109这5个基准测试集上的实验充分验证了所提网络的有效性,其性能超过了当前主流轻量级网络。 展开更多
关键词 图像超分辨率 轻量级 特征蒸馏 多尺度卷积
下载PDF
全局卷积与亲和度融合的多模态特征蒸馏情感识别方法
4
作者 赵子平 高天 王欢 《信号处理》 CSCD 北大核心 2023年第4期667-677,共11页
为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越... 为提升人机交互时的用户体验以及满足多元化用途的需求,交互设备正逐步引入情感智能技术,其中,实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别,然而,这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展,越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此,本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关,提出了适应性全局卷积(Adaptive Global Convolution,AGC)来提升有效感受野的范围,特征图重要性分析(Feature Map Importance Analysis,FMIA)模块进一步强化情感关键特征。音频亲和度融合(Audio Affinity Fusion,AAF)模块通过音频-文本模态间的内在相关性建模亲和度融合权重,使两种模态的情感信息得到有效融合。此外,为了提升模型泛化能力,有效利用教师模型中概率分布所携带的隐藏知识,帮助学生模型获取更高级别的语义特征,提出了在多模态模型上使用特征蒸馏。最后,在交互式情感二元动作捕捉(Interactive Emotional Dyadic Motion Capture,IEMOCAP)情感数据集上对该方法进行评估,加权准确率达到了75.2%,非加权准确率达到了75.8%,证明了该模型对提升情感识别效率的有效性。 展开更多
关键词 多模态情感识别 感受野 特征蒸馏 特征融合
下载PDF
多分支残差特征蒸馏网络的图像超分辨重建 被引量:2
5
作者 李轩 刘立柱 《小型微型计算机系统》 CSCD 北大核心 2023年第2期363-369,共7页
近年来基于深度卷积神经网络的单幅图像超分辨率技术取得了很大进展.但特征提取方式单一,模型参数量大很难在移动端部署.为了解决这些问题,本文提出了一种多分支残差特征蒸馏算法.首先,通过多分支残差模块进行深层特征提取;其次,结合卷... 近年来基于深度卷积神经网络的单幅图像超分辨率技术取得了很大进展.但特征提取方式单一,模型参数量大很难在移动端部署.为了解决这些问题,本文提出了一种多分支残差特征蒸馏算法.首先,通过多分支残差模块进行深层特征提取;其次,结合卷积、通道自适应激活函数和瓶颈注意力模块进行特征蒸馏及融合,减少平坦区域的大量冗余参数,在保证性能的同时降低模型复杂度;最后通过亚像素卷积层进行图像重建,得到最终的超分辨率图像.实验结果表明该算法在模型复杂度和性能上达到更好的平衡.与IMDN(Information Multi-distillation Network)相比,该算法的PSNR和SSIM分别有0.06~0.26dB与0.001~0.006的提升;在2倍超分重建结果中,与千万级参数量模型DBPN(Deep Back-Projection Networks)相比,本文算法参数量是其1/15,PSNR基本相同,SSIM提高0.001. 展开更多
关键词 图像超分辨率 多分支卷积 残差模块 注意力机制 特征蒸馏
下载PDF
基于特征蒸馏的改进Ghost-YOLOv5红外目标检测算法 被引量:14
6
作者 李北明 金荣璐 +2 位作者 徐召飞 刘晴 王水根 《郑州大学学报(工学版)》 CAS 北大核心 2022年第1期20-26,共7页
针对红外目标检测模型YOLOv5s实时性差、计算复杂度高的问题,提出了一种基于特征蒸馏的改进Ghost-YOLOv5红外目标检测算法。首先,利用GhostNet模块作模型剪枝;其次,使用特征蒸馏方法以及Mosaic和Copy-paste两种数据增强方法提高模型的... 针对红外目标检测模型YOLOv5s实时性差、计算复杂度高的问题,提出了一种基于特征蒸馏的改进Ghost-YOLOv5红外目标检测算法。首先,利用GhostNet模块作模型剪枝;其次,使用特征蒸馏方法以及Mosaic和Copy-paste两种数据增强方法提高模型的检测精度;第三,构建了一个包含多种场景下人、机动车和非机动车目标的红外安防领域数据集。在数据集上测试实验结果表明:所提算法利用Ghost模块得到的模型参数量仅1.9 M,并通过知识蒸馏和数据增强的方法,使得模型在红外数据集上的精度提升了6.6%,总体mAP达到了90.1%。在海思平台上实测,模型的检测速度能达到25帧/s,平均检测精度能达到90.2%,与多种可移植于该平台的常用模型相比,均取得了更高的检测精度。 展开更多
关键词 红外目标检测 数据增强 模型剪枝 特征蒸馏 海思平台
下载PDF
基于多粒度特征蒸馏的遥感图像场景分类研究 被引量:2
7
作者 刘瑄 池明旻 《计算机工程》 CAS CSCD 北大核心 2021年第1期224-229,238,共7页
深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用。提... 深度神经网络广泛应用于遥感图像场景分类任务中并能大幅提高分类精度,但隐藏层数较少的神经网络在标记数据不足的遥感场景分类中泛化能力较低,而隐层较多的网络往往需要较大的计算量和模型存储空间,限制了其在嵌入式设备上的应用。提出一种针对遥感图像场景分类的多粒度特征蒸馏方法,将深度网络不同阶段的特征与最终的类别概率同时作为浅层模型的监督信号,使得浅层模型能够同时学习高级与低级的语义特征,从而提高浅层模型的分类性能与泛化能力。在UC Merced Land-Use和SIRI-WHU2个数据集上的实验结果表明,该方法能使模型在大幅降低网络参数量和计算量的情况下明显提高分类性能,与传统知识蒸馏方法相比,其分类精度更高。 展开更多
关键词 遥感图像 多粒度特征蒸馏 卷积神经网络 模型压缩 深度学习
下载PDF
深度特征蒸馏轻量化超分辨率重建
8
作者 邵闻睿 《中国宽带》 2022年第12期76-78,共3页
在图像超分辨率重建领域,基于深度卷积神经网络的模型已取得显著效果,但移动设备的部署和实时应用场景的需求使得模型轻量化成为亟待解决的问题。为了降低模型的参数量与计算量,本文基于残差特征蒸馏网络做了改进:将深度超参数化卷积引... 在图像超分辨率重建领域,基于深度卷积神经网络的模型已取得显著效果,但移动设备的部署和实时应用场景的需求使得模型轻量化成为亟待解决的问题。为了降低模型的参数量与计算量,本文基于残差特征蒸馏网络做了改进:将深度超参数化卷积引入到特征蒸馏模块中,使其能够学习到更多样化的特征。实验表明,本文模型与主流轻量化模型相比,在减少参数量与计算量的同时能够有效提升图像在密集纹理区域的重建效果。 展开更多
关键词 轻量化模型 超分辨率重建 特征蒸馏网络
下载PDF
跨尺度蒸馏特征感知的轻量化水下图像增强
9
作者 吴晓华 李增禄 +1 位作者 许章华 周景春 《大气与环境光学学报》 CAS CSCD 2024年第3期381-390,共10页
水下图像增强技术能够提升水下图像的质量和可视性,在丰富数字媒体资源、水下探测、水下通信等领域具有重要应用价值。近年来,深度学习方法在水下图像增强方面取得了显著的效果。然而,现有的方法计算复杂度高,限制了它们在计算资源有限... 水下图像增强技术能够提升水下图像的质量和可视性,在丰富数字媒体资源、水下探测、水下通信等领域具有重要应用价值。近年来,深度学习方法在水下图像增强方面取得了显著的效果。然而,现有的方法计算复杂度高,限制了它们在计算资源有限的场景中的使用。针对这一问题,提出了一种轻量化的水下图像增强方法,该方法基于跨尺度深度蒸馏特征感知,采用U型网络结构,在保证非线性抽象层级抽取的同时,大幅减少了模型参数量。实验结果表明,所提出方法在视觉效果和客观评价指标上均取得了具有竞争力的结果。 展开更多
关键词 水下图像增强 轻量化 跨尺度 蒸馏特征 U型网络
下载PDF
联合归一化模块和多分支特征的行人重识别
10
作者 任丹萍 董会升 +1 位作者 何婷婷 张春华 《计算机工程与设计》 北大核心 2024年第4期1233-1239,共7页
针对行人重识别技术中存在特征挖掘不充分的问题,提出一种联合归一化模块和多分支特征的行人重识别模型。在主干网络中嵌入注意力机制引导的实例归一化模块,减轻背景等杂波信息的影响。在双级特征融合模块对局部特征进行加权后再聚合形... 针对行人重识别技术中存在特征挖掘不充分的问题,提出一种联合归一化模块和多分支特征的行人重识别模型。在主干网络中嵌入注意力机制引导的实例归一化模块,减轻背景等杂波信息的影响。在双级特征融合模块对局部特征进行加权后再聚合形成对行人特征的更细节表达。联合平滑交叉熵损失、三元组损失以及跨分支特征蒸馏损失对网络进行优化。所提模型在Market-1501和DukeMTMC-ReID数据集上首位准确率分别达到了95.7%和89.2%。实验结果表明,该模型增强了对图像特征的提取。 展开更多
关键词 归一化 行人重识别 注意力机制 多分支特征 特征提取 特征蒸馏损失 三元组损失
下载PDF
基于特征约束蒸馏学习的视觉异常检测
11
作者 邢鹏 蒋鑫 +2 位作者 潘永华 唐金辉 李泽超 《软件学报》 EI CSCD 北大核心 2023年第9期4378-4391,共14页
针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征... 针对视觉异常检测任务,提出一种基于特征约束的蒸馏学习方法,充分利用教师网络模型的特征来指导学生模型高效的识别异常图像.具体地,引入vision transformer (ViT)作为异常检测任务的主干网络,并提出中心特征策略约束学生网络的输出特征.由于教师网络的特征表达能力较强,特征中心策略从教师网络中动态地为学生网络生成正常样本的特征表示中心,从而提升学生网络对正常数据特征输出的描述能力,进而扩大了学生网络和教师网络对于异常数据的特征差异;另一方面,为了最小化学生网络和教师网络在正常图像特征表示上的差异,引入格拉姆(Gram)损失函数对学生网络编码层之间的关系进行约束.在3个异常检测通用数据集和1个真实工业异常检测数据集上进行了实验验证,相比当前最优方法,所提方法取得了显著的性能提升. 展开更多
关键词 异常检测 特征蒸馏 异常评分 中心分布 一致性约束
下载PDF
基于组−信息蒸馏残差网络的轻量级图像超分辨率重建
12
作者 王云涛 赵蔺 +1 位作者 刘李漫 陶文兵 《自动化学报》 EI CAS CSCD 北大核心 2024年第10期2063-2078,共16页
目前,基于深度学习的超分辨算法已经取得了很好性能,但这些方法通常具有较大内存消耗和较高计算复杂度,很难应用到低算力或便携式设备上.为了解决这个问题,设计一种轻量级的组−信息蒸馏残差网络(Group-information distillation residua... 目前,基于深度学习的超分辨算法已经取得了很好性能,但这些方法通常具有较大内存消耗和较高计算复杂度,很难应用到低算力或便携式设备上.为了解决这个问题,设计一种轻量级的组−信息蒸馏残差网络(Group-information distillation residual network,G-IDRN)用于快速且精确的单图像超分辨率任务.具体地,提出一个更加有效的组−信息蒸馏模块(Group-information distillation block,G-IDB)作为网络特征提取基本块.同时,引入密集快捷连接,对多个基本块进行组合,构建组−信息蒸馏残差组(Group-information distillation residual group,G-IDRG),捕获多层级信息和有效重利用特征.另外,还提出一个轻量的非对称残差Non-local模块,对长距离依赖关系进行建模,进一步提升超分性能.最后,设计一个高频损失函数,去解决像素损失带来图像细节平滑的问题.大量实验结果表明,该算法相较于其他先进方法,可以在图像超分辨率性能和模型复杂度之间取得更好平衡,其在公开测试数据集B100上,4倍超分速率达到56 FPS,比残差注意力网络快15倍. 展开更多
关键词 残差网络 超分辨率 特征蒸馏 高频损失
下载PDF
多任务下的特征分布蒸馏算法研究
13
作者 葛海波 周婷 +1 位作者 黄朝锋 李强 《计算机工程与应用》 CSCD 北大核心 2023年第21期83-90,共8页
卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压... 卷积神经网络性能的快速提升是以不断堆叠的网络层数以及成倍增长的参数量和存储空间为代价,这不仅会使模型在训练过程中出现过拟合等问题,也不利于模型在资源受限的嵌入式设备上运行,因而提出模型压缩技术来解决上述问题,主要对模型压缩技术中的特征蒸馏算法进行了研究。针对特征蒸馏中利用教师网络特征图指导学生网络并不能很好地锻炼学生网络特征拟合能力的问题,提出基于特征分布蒸馏算法。该算法利用条件互信息的概念构建模型特征空间的概率分布,并引入最大平均差异(maximum mean discrepancy,MMD)设计损失函数以最小化教师网络和学生网络特征分布间的距离。在知识蒸馏的基础上利用toeplitz矩阵对学生网络进行权重共享操作,进一步节省了模型的存储空间。为验证在特征分布蒸馏算法训练下学生网络的特征拟合能力,在图像分类、目标检测和语义分割三种图像处理任务上进行了实验验证,实验表明所提算法在以上三种学习任务中的表现均优于对比算法且实现了不同网络架构间的蒸馏。 展开更多
关键词 特征分布蒸馏 条件互信息 特征分布 最大平均差异(MMD) TOEPLITZ矩阵
下载PDF
多层次自适应知识蒸馏的轻量化高分遥感场景分类
14
作者 翁谦 黄志铭 +2 位作者 林嘉雯 简彩仁 廖祥文 《福州大学学报(自然科学版)》 CAS 北大核心 2023年第4期459-466,共8页
提出一种多层次自适应知识蒸馏方法,以提升轻量化模型的性能.首先,针对遥感影像类别间差异程度不均衡的问题,通过改进输出层知识蒸馏中的温度机制,提出一种自适应温度机制,促进学生模型更好地学习大且深的教师模型输出层概率分布知识;然... 提出一种多层次自适应知识蒸馏方法,以提升轻量化模型的性能.首先,针对遥感影像类别间差异程度不均衡的问题,通过改进输出层知识蒸馏中的温度机制,提出一种自适应温度机制,促进学生模型更好地学习大且深的教师模型输出层概率分布知识;然后,通过添加辅助卷积块来融入特征层的知识蒸馏方法,使学生模型学习教师模型的多层次知识;最后,在UCM、AID和NWPU这3个公开数据集上进行实验.结果表明:所提方法蒸馏后的学生模型参数量仅为教师模型的6%,其分类精度较蒸馏前最多可提升7.78%,比其他网络模型更便于部署在末端. 展开更多
关键词 场景分类 卷积神经网络 知识蒸馏 特征蒸馏 自适应温度蒸馏
下载PDF
结合多层特征及空间信息蒸馏的医学影像分割
15
作者 郑宇祥 郝鹏翼 +1 位作者 吴冬恩 白琮 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2022年第8期1409-1417,共9页
U-Net在医学影像分割领域是目前应用最广泛的分割模型,其“编码-解码”结构也成为了构建医学影像分割模型最常用的结构。尽管U-Net在许多领域实现了非常高的分割准确度,但是存在着计算复杂度高、推理速度慢、运行消耗内存大等问题,导致... U-Net在医学影像分割领域是目前应用最广泛的分割模型,其“编码-解码”结构也成为了构建医学影像分割模型最常用的结构。尽管U-Net在许多领域实现了非常高的分割准确度,但是存在着计算复杂度高、推理速度慢、运行消耗内存大等问题,导致其难以在移动应用平台部署。为解决这一问题,提出了一种结合多层特征及空间信息蒸馏的医学影像分割方法TinyUnet。该方法使用轻量化的U-Net作为学生网络。考虑到小模型没有足够的学习能力,通过选择合适的蒸馏位置,对多层教师特征图进行蒸馏;同时加强教师网络深层特征图的边缘,并构建边缘关键点图结构,采用图卷积网络对学生网络进行空间信息蒸馏,从而补充重要的边缘信息和空间信息。实验表明:在3个医学影像数据集上,TinyUnet能够达到U-Net 98.3%~99.7%的分割准确度,但是将U-Net的参数量平均降低了99.6%,运算速度提高了约110倍;同时,与其他轻量化医学影像分割模型相比,TinyUnet不仅具有较高的分割准确度,而且占用内存更少,运行速度更快。 展开更多
关键词 医学影像分割 特征蒸馏 深度学习 图神经网络 空间信息
下载PDF
基于双源自适应知识蒸馏的轻量化图像分类方法 被引量:2
16
作者 张凯兵 马东佟 孟雅蕾 《西安工程大学学报》 CAS 2023年第4期82-91,共10页
在知识蒸馏任务中,针对特征对齐过程中存在的特征信息丢失以及软标签蒸馏方法没有考虑不同样本差异性的问题,文中提出了一种双源自适应知识蒸馏(dual-source adaptive knowledge distillation,DSAKD)方法,从教师网络的特征层和软标签中... 在知识蒸馏任务中,针对特征对齐过程中存在的特征信息丢失以及软标签蒸馏方法没有考虑不同样本差异性的问题,文中提出了一种双源自适应知识蒸馏(dual-source adaptive knowledge distillation,DSAKD)方法,从教师网络的特征层和软标签中获取更有判别性的知识,进一步提高轻量化学生网络的性能。一方面,提出了一种基于注意力机制的多层特征自适应融合模块,对教师网络和学生网络的中间层特征进行自适应融合,通过特征嵌入对比蒸馏策略优化学生网络的特征提取能力。另一方面,提出了一种自适应温度蒸馏策略,根据教师网络对每个样本的预测置信度为所有训练样本自适应分配不同的温度系数,从而为学生网络提供更有判别性的软标签。实验结果表明,提出的DSAKD方法在3个基准数据集上都取得了最优的蒸馏效果,显著地提高了轻量化学生网络的分类性能。具体而言,与对比方法中性能最优的方法相比,提出的DSAKD方法在CIFAR10、CIFAR100和ImageNet数据集上的平均Top-1验证准确率分别提高了0.46%、0.41%和0.59%。 展开更多
关键词 知识蒸馏 自适应特征融合 特征嵌入对比蒸馏 自适应温度蒸馏
下载PDF
基于Transformer的出铝量决策算法研究与应用
17
作者 李明昊 李晋宏 《轻金属》 2024年第4期19-24,共6页
在传统电解铝工业生产中,铝电解槽的生产决策通常根据工艺技术人员多年的经验制定,其中出铝量是一个具有强耦合性的重要决策变量,其决策的好坏对电解槽的生产稳定性和产铝效率具有直接且重要的影响。本文提出了一种可深度挖掘数据频率... 在传统电解铝工业生产中,铝电解槽的生产决策通常根据工艺技术人员多年的经验制定,其中出铝量是一个具有强耦合性的重要决策变量,其决策的好坏对电解槽的生产稳定性和产铝效率具有直接且重要的影响。本文提出了一种可深度挖掘数据频率特征和特征筛选的Transformer架构模型FDisformer,优化了传统的Transformer的encode编码层,进而挖掘数据趋势变化和更深层次的特征信息,同时引入了特征蒸馏模块,确保筛选出与出铝量决策这一任务强相关的特征。FDisformer在出铝量决策方面具有更高的性能指标,该模型的建立可以为后续的铝电解槽出铝量每日决策提供参考依据。 展开更多
关键词 铝电解槽 Transformer架构 频率特征挖掘 出铝量决策 特征蒸馏
下载PDF
基于密集残差连接U型网络的噪声图像超分辨率重建
18
作者 刘鹏南 李龙 +2 位作者 张紫豪 朱星光 程德强 《工矿自动化》 CSCD 北大核心 2024年第2期63-71,共9页
现有的图像超分辨率重建网络难以适用于煤矿井下噪声密集的应用场景,且多数网络通过增加深度提升性能会导致无法有效提取关键特征、高频信息丢失等问题。针对上述问题,提出了一种密集残差连接U型网络,用于对低分辨率噪声图像进行超分辨... 现有的图像超分辨率重建网络难以适用于煤矿井下噪声密集的应用场景,且多数网络通过增加深度提升性能会导致无法有效提取关键特征、高频信息丢失等问题。针对上述问题,提出了一种密集残差连接U型网络,用于对低分辨率噪声图像进行超分辨率重建。在特征提取路径中引入基于密集残差连接的去噪模块,通过密集连接的方式对图像特征进行充分提取,再利用残差学习的特点对低分辨率噪声图像进行有效去噪;在重建路径中引入残差特征注意力蒸馏模块,通过在残差块中融入增强特征注意力块,对不同空间的特征赋予不同的权重,加强网络对于图像关键特征的提取能力,同时减少图像细节特征在残差块中的损失,从而更好地恢复图像细节信息。在煤矿井下图像数据集及公共数据集上进行了对比实验,结果表明:在客观评价指标上,所提网络的结构相似度、图像感知相似度均优于对比网络,且在复杂度及运行速度上有着较好的均衡;在主观视觉效果上,所提网络重建的图像基本消除了原有图像噪声,有效恢复了图像的细节特征。 展开更多
关键词 噪声图像 超分辨率重建 密集残差连接 U型网络 去噪模块 残差特征注意力蒸馏模块
下载PDF
Anomaly Detection Method Using Feature Reconstruction Based Knowledge Distillation
19
作者 ZHU Xin-yu SI Zhan-jun ZHANG Ying-xue 《印刷与数字媒体技术研究》 CAS 北大核心 2024年第4期115-124,236,共11页
In recent years,anomaly detection has attracted much attention in industrial production.As traditional anomaly detection methods usually rely on direct comparison of samples,they often ignore the intrinsic relationshi... In recent years,anomaly detection has attracted much attention in industrial production.As traditional anomaly detection methods usually rely on direct comparison of samples,they often ignore the intrinsic relationship between samples,resulting in poor accuracy in recognizing anomalous samples.To address this problem,a knowledge distillation anomaly detection method based on feature reconstruction was proposed in this study.Knowledge distillation was performed after inverting the structure of the teacher-student network to avoid the teacher-student network sharing the same inputs and similar structure.Representability was improved by using feature splicing to unify features at different levels,and the merged features were processed and reconstructed using an improved Transformer.The experimental results show that the proposed method achieves better performance on the MVTec dataset,verifying its effectiveness and feasibility in anomaly detection tasks.This study provides a new idea to improve the accuracy and efficiency of anomaly detection. 展开更多
关键词 Feature Reconstruction Anomaly Detection Distillation Mechanism Industrial Production
下载PDF
角度差异强化的光场图像超分网络 被引量:1
20
作者 吕天琪 武迎春 赵贤凌 《光电工程》 CAS CSCD 北大核心 2023年第2期48-60,共13页
由于采用了更为先进的成像技术,光场相机可以同步获取场景的空间信息与角度信息。该技术以牺牲空间分辨率为代价,实现了更高维度的场景表示。为了提高光场相机拍摄场景的空间分辨率,本文搭建了角度差异强化的光场超分辨率重构网络。该... 由于采用了更为先进的成像技术,光场相机可以同步获取场景的空间信息与角度信息。该技术以牺牲空间分辨率为代价,实现了更高维度的场景表示。为了提高光场相机拍摄场景的空间分辨率,本文搭建了角度差异强化的光场超分辨率重构网络。该网络先采用8个多分支残差块实现浅层特征提取,再采用4个强化的角度可变形对准模块实现深层特征提取,最后采用6个简化的残差特征蒸馏模块和像素洗牌模块完成数据重构。所提网络在利用光场角度差异完成空间信息超分时,更加强调视图自身特征的深入挖掘,以获得更加丰富的视图间差异特征。在5组公开的光场数据集上对本文所提网络的性能进行了验证,本文算法获得了PSNR、SSIM值更高的高分辨率光场子孔径图像。 展开更多
关键词 光场相机 超分辨率重构 残差 可变形卷积 残差特征蒸馏
下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部