基于多任务学习的可见光与近红外虹膜融合研究

针对在可见光虹膜识别中存在的虹膜纹理特征不明显与反射光斑问题,提出一种基于多任务学习的可见光与近红外无监督融合模型(MTIris-Fusion)。设计了基于改进DenseU-Net的端到端融合骨干网。设计了自适应权衡源图像重要信息保留度的损失函数,自适应保持融合结果与源图像之间的相似度,达到无监督的目的。通过弹性权重巩固(EWC)机制更新多融合任务的权重,避免了多任务网络中的灾难性遗忘。在PolyU Cross Spectral Iris数据集上的实验表明,与其他方法相比,该方法兼顾可见光虹膜的颜色纹理与近红外图像的结构信息并有效抑制了可见光图像中的光斑噪声,在虹膜图像质量增强领域具有重要应用价值。

基于深度学习的生成式文本摘要技术综述

在互联网数据急剧扩张和深度学习技术高速发展的背景下,自动文本摘要任务作为自然语言处理领域的主要研究方向之一,其相关技术及应用被广泛研究。基于摘要任务深化研究需求,以研究过程中存在的关键问题为导向,介绍现有基于深度学习的生成式文本摘要模型,简述定义及来源、数据预处理及基本框架、常用数据集及评价标准等,指出发展优势和关键问题,并针对关键问题阐述对应的可行性解决方案。对比常用的深度预训练模型和创新方法融合模型,分析各模型的创新性和局限性,提出对部分局限性问题的解决思路。进一步地,对该技术领域的未来发展方向进行展望总结。

基于对比学习方法的遥感影像特征提取与分类

为了解决使用深度学习进行遥感影像特征提取与分类时标注数据不足的问题,提出一种基于非对称预测算子的简易对比学习方法。首先,使用水平翻转、颜色抖动和灰度化方法对输入图像进行数据增强,得到同一幅图像的两个相关视图。接着,将其分别输入到孪生网络的两个分支进行特征提取。然后,使用非对称预测算子对特征进行变换,通过最大化两种特征间的相似度优化网络。最后,固定特征提取网络的参数,训练一个线性分类器完成特征分类。在四个公开数据集NWPU-RESISC45,EuroSAT,UC Merced,SIRI-WHU上使用20%的标注样本进行微调,分类精度分别达到77.57%,87.70%,60.52%和65.83%。本文提出的方法能够在不使用数据标签的情况下充分挖掘遥感影像中的高层语义特征,在只使用少量标注样本的情况下性能优于有监督方法得到的ImageNet预训练模型和目前最新的对比学习方法SimSiam。

融合半监督学习的无监督遥感影像场景分类

自监督学习可以不依赖样本标签对遥感影像进行特征提取,但是特征分类仍然依赖有监督方法。为了克服有监督特征分类过程的不足,实现遥感影像特征的无监督自动分类,本文提出一种融合半监督学习的无监督语义聚类方法。首先,使用自监督学习提取遥感影像特征,抽象出图像包含的高层语义信息;然后,基于特征相似度寻找每个样本最相似的近邻,使用在线聚类将相似样本聚为一类,训练一个线性分类器;最后,根据聚类结果为高置信度样本生成伪标签,构造标注样本集,使用半监督方法对模型微调。在4个公开遥感影像场景分类数据集EuroSAT、GID、AID和NWPU-RESISC45上进行验证,分类精度分别达到了94.84%、63.55%、76.42%和86.24%。本文方法结合了在线聚类和半监督学习的优点,缓解了已有方法存在的误差积累和样本利用不充分的问题,在完全不使用标注样本的情况下,充分利用自监督特征训练分类模型,对遥感影像进行场景分类,达到接近有监督学习的分类效果,具有良好的应用价值。

融合注意力机制与密集多尺度特征的异质噪声虹膜分割方法

针对当前分割方法不能兼顾可见光与近红外光谱的异质噪声虹膜图像的分割精度与效率问题,提出一种基于注意力机制与密集多尺度特征融合的编-解码网络。首先,引入基于深度可分离卷积的改进残差瓶颈单元,降低参数量与计算量的同时防止信息丢失与梯度混淆;其次,改进密集空洞空间金字塔模块的空洞率组合并放置于编码器后,以增强多尺度特征融合;最后,设计了一种高效并行空间-通道注意力模块,将该模块添加至每个下采样层与解码器之后,提升对噪声目标与虹膜像素的分辨能力。在3个公开虹膜数据集上的实验结果表明:所设计网络的平均F1分数与平均交并比(mIoU)均优于已有算法;空间占用、参数量、计算量分别比基准网络减少41%、41.77%、65.35%;有效改善了对多个光谱噪声虹膜的分割性能且更易部署于移动端设备,能够更加高效、精确地分辨噪声与虹膜目标。