基于多重迁移注意力的增量式图像去雾算法

为提高深度神经网络去雾算法对增补数据集的处理能力,并使网络差异化处理重要程度不同的图像特征以提高网络去雾能力,提出一种基于多重迁移注意力的增量式去雾算法。通过自编码器形式的教师注意力生成网络提取标签和雾霾的多重注意力,作为特征迁移媒介网络的标签约束网络训练,形成与教师注意力尽可能相近的迁移媒介注意力,并将其融入学生去雾网络的特征中,提高学生去雾网络的去雾能力;通过增量式训练方法提高学生去雾网络对增补数据集的处理能力。结果表明:所提算法对ITS、OTS以及真实雾图上皆具有较好的处理能力,在保证去雾图像像素结构完整、颜色不失真的同时具有较好的去雾效果,算法处理后的图像在主观视觉效果和客观评价指标上皆优于对比算法。

基于改进注意力迁移的实时目标检测方法

目前深度神经网络模型需要部署在资源受限的环境中,故需要设计高效紧凑的网络结构。针对设计紧凑的神经网络提出一种基于改进注意力迁移的模型压缩方法(KE),主要使用一个宽残差教师网络(WRN)指导一个紧凑的学生网络(KENet),将空间和通道的注意力迁移到学生网络来提升性能,并将该方法应用于实时目标检测。在CIFAR上的图像分类实验验证了经过改进注意力迁移的知识蒸馏方法能够提升紧凑模型的性能,在VOC上的目标检测实验验证了模型KEDet具有很好的精度(72.7 mAP)和速度(86 fps)。实验结果充分说明基于改进注意力迁移的目标检测模型具有很好的准确性和实时性。

基于注意力迁移的跨语言关系抽取方法

针对互联网上日渐丰富的多语言文本和匮乏大规模标注平行语料库的问题,为了从多语言的信息源挖掘语言间的关联性与扩展知识图谱,提出了基于注意力迁移的跨语言关系提取方法。首先针对语言间的实际平行语料情况,分类进行跨语言平行语料映射,并针对缺乏种子词典的低资源语言对,提出神经网络翻译模型获取目标语言数据集并保存多语言间的对应注意力权重关系,然后利用BERT端对端的联合抽取模型抽取训练数据实体关系特征,反向迁移语言间注意力权重关系,最后利用反向迁移的注意力进行增强的关系抽取。实验表明,该模型的关系提取效果相比其他模型在准确率和回归上都有所提升,在缺乏双语词典情况下也表现出较好的性能。