-
题名基于改进注意力迁移的实时目标检测方法
被引量:2
- 1
-
-
作者
张弛
刘宏哲
-
机构
北京联合大学北京市信息服务工程重点实验室
北京联合大学机器人学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第4期1212-1215,共4页
-
基金
国家自然科学基金资助项目(61871039,61906017,61802019)
北京市教委项目(KM202111417001,KM201911417001)
+1 种基金
视觉智能协同创新中心项目(CYXC2011)
北京联合大学学术研究项目(ZB10202003,ZK80202001,XP202015,BPHR2019AZ01)。
-
文摘
目前深度神经网络模型需要部署在资源受限的环境中,故需要设计高效紧凑的网络结构。针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE),主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet),将空间和通道的注意力迁移到学生网络来提升性能,并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能,在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7 mAP)和速度(86 fps)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。
-
关键词
神经网络
深度学习
目标检测
知识蒸馏
注意力迁移
-
Keywords
neural network
deep learning
object detection
knowledge distillation
attention transfer
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于注意力迁移的跨语言关系抽取方法
被引量:1
- 2
-
-
作者
吴婧
杨百龙
田罗庚
-
机构
火箭军工程大学信息与通信工程系
国防科技大学信息通信学院
-
出处
《计算机应用研究》
CSCD
北大核心
2022年第2期417-423,共7页
-
文摘
针对互联网上日渐丰富的多语言文本和匮乏大规模标注平行语料库的问题,为了从多语言的信息源挖掘语言间的关联性与扩展知识图谱,提出了基于注意力迁移的跨语言关系提取方法。首先针对语言间的实际平行语料情况,分类进行跨语言平行语料映射,并针对缺乏种子词典的低资源语言对,提出神经网络翻译模型获取目标语言数据集并保存多语言间的对应注意力权重关系,然后利用BERT端对端的联合抽取模型抽取训练数据实体关系特征,反向迁移语言间注意力权重关系,最后利用反向迁移的注意力进行增强的关系抽取。实验表明,该模型的关系提取效果相比其他模型在准确率和回归上都有所提升,在缺乏双语词典情况下也表现出较好的性能。
-
关键词
神经机器翻译
关系提取
无监督
注意力迁移
BERT预训练
-
Keywords
neural machine translation
relation extraction
unsupervised
attention transfer
BERT pre-training
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多重迁移注意力的增量式图像去雾算法
- 3
-
-
作者
韦金阳
王科平
杨艺
费树岷
-
机构
郑州恒达智控科技股份有限公司
河南理工大学电气工程与自动化学院
东南大学自动化学院
-
出处
《系统仿真学报》
CAS
CSCD
北大核心
2024年第4期969-980,共12页
-
基金
河南省科技攻关(232102210040)。
-
文摘
为提高深度神经网络去雾算法对增补数据集的处理能力,并使网络差异化处理重要程度不同的图像特征以提高网络去雾能力,提出一种基于多重迁移注意力的增量式去雾算法。通过自编码器形式的教师注意力生成网络提取标签和雾霾的多重注意力,作为特征迁移媒介网络的标签约束网络训练,形成与教师注意力尽可能相近的迁移媒介注意力,并将其融入学生去雾网络的特征中,提高学生去雾网络的去雾能力;通过增量式训练方法提高学生去雾网络对增补数据集的处理能力。结果表明:所提算法对ITS、OTS以及真实雾图上皆具有较好的处理能力,在保证去雾图像像素结构完整、颜色不失真的同时具有较好的去雾效果,算法处理后的图像在主观视觉效果和客观评价指标上皆优于对比算法。
-
关键词
深度学习
图像去雾
迁移注意力
增量式训练
-
Keywords
deep learning
image dehazing
transfer attention
incremental training
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-