融合特征增强及多尺度损失的增量去雾算法

为提高雾霾图像清晰化效果并实现去雾能力的泛化,提出一种特征增强及多尺度损失约束的网络结构,并采用增量式训练方法对网络进行训练。网络由教师网络和学生网络构成。通过学习教师网络提取的标注样本注意力信息对学生网络提取的特征进行特征增强;将标注样本多尺度语义特征作为软标签,建立多尺度语义特征损失衡量机制,与全局像素差异损失级联,构建面向特征和像素的损失函数;采用增量式训练方法,教师网络为学生网络平衡不同数据集的新旧知识提供先验约束,使网络保留原有知识的前提下,快速提高对增补数据集的泛化能力。实验结果表明,所提算法在主观视觉效果与客观评价指标上均取得了较好的效果。

基于多尺度特征损失函数的图像超分辨率重建

在图像超分辨率重建问题中,许多基于深度学习的方法大多采用传统的均方误差(MSE)作为损失函数,重建后的图像容易出现细节模糊和过于平滑的问题。针对这一问题,本文对传统的均方误差损失函数进行改进,提出一种基于多尺度特征损失函数的图像超分辨率重建方法。整个网络模型由基于DenseNet的重建模型和一个用来优化多尺度特征损失函数的卷积神经网络串联构成。将重建后得到的图像和对应的原始高清图像作为串联的卷积神经网络的输入,计算重建图像卷积得到的不同尺度特征图与对应的原始高清图像卷积得到的不同尺度特征图的均方误差。实验结果表明,本文提出的方法在主观视觉效果和PSRN、SSIM上均有所提升。

基于结构化损失的单目深度估计算法研究

为了提高单目图像深度估计的精度,针对图像中几何形状无法准确预测以及边缘模糊的问题,该文提出了一种基于多尺度结构相似度和梯度匹配的单目深度估计算法,利用多尺度结构相似度损失和尺度不变梯度匹配损失组成联合结构化损失,对相对深度点对进行排序来实现单目深度估计,实现了对图像中几何形状的准确预测,减小了边缘模糊,提高了深度预测精度。在Ibims、NYUDv2、DIODE、Sintel 4个不同类型的数据集进行了数值实验和主观评测,结果表明该算法降低了深度预测误差,有效提高了预测的准确性,并具有一定的泛化性能。

有监督深度学习的地震资料提高分辨率处理方法

地震资料分辨率直接影响后续处理和解释成果精度,因此备受关注。深度学习方法具备自动提取深层特征和出色的非线性逼近能力,在反问题求解中广泛应用。在地震勘探领域,深度卷积网络中的卷积算子与地震数据的褶积模型相吻合,因而有望通过智能化手段显著提升地震资料的分辨率。目前,针对卷积神经网络提高地震资料分辨率方面的研究发展迅速,但问题的核心在于设计适合、有效的网络结构和损失函数。为此,提出一种基于强监督学习的地震资料高分辨率处理方法。该方法充分利用地下结构的空间连续性,借鉴图像超分辨率重建的思想,设计了一种生成对抗网络结构,用以提高地震资料的纵向分辨率;同时,采用L1损失和多尺度结构相似性(MS-SSIM)损失相结合的损失函数提高感知质量,以提高网络的高分辨率处理效果。合成数据和实际地震数据的应用结果显示,相较于常规损失函数,文中采用的损失函数可以显著提升智能算法的处理效果,明显改善地震数据同相轴的连续性,且高频细节信息更丰富,验证了该方法的可行性和有效性。

基于RGB-T图像的双流残差扩张网络人群计数算法

在人群计数中,针对尺度变化、行人分布不均以及夜间较差成像条件,提出了一种基于RGBT(RGB-Thermal)图像的多模态人群计数算法,称为双流残差扩张网络,它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中,前端网络用来提取RGB特征和热特征,扩张卷积模块进一步提取不同尺度的行人特征信息,全局注意力模块用来建立全局特征之间的依赖关系。此外,还引入了一种新的多尺度差异性损失,以提高网络的计数性能。为评估该方法,在RGBT-CC(RGBT Crowd Counting)数据集和DroneRGBT数据集上进行了对比实验。实验结果表明,在RGBT-CC数据集上与CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的GAME(0)(Grid Average Mean absolute Errors)和RMSE(Root Mean Squared Error)分别降低了0.8和3.49,在DroneRGBT数据集上与MMCCN(Multi-Modal Crowd Counting Network)算法比分别降低了0.34和0.17,表明具有较好的计数性能。

深度特征融合注意力与双尺度的运动去模糊

目的拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN(scale-recurrent network)方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比(29.91 dB)。在Lai数据集上,视觉上有最好的去模糊效果。结论实验结果表明,本文方法可以有效去除运动模糊并恢复细节。

基于增强生成器条件生成对抗网络的单幅图像去雾

大气中烟雾等粒子的存在会导致肉眼捕获场景的能见度降低。大多数传统的去雾方法都是预期估计雾霾场景的透射率、大气光,并利用大气散射模型恢复无雾图像。这些方法尽管取得了显著进展,但由于过分依赖苛刻的先验条件,在缺乏相应先验条件下的去雾效果并不理想。因此,提出一种端到端的一体化除雾网络,使用增强生成器的条件生成对抗网络(CGAN)直接恢复无雾图像。生成器端以U-Net作为基础架构,通过“整合-加强-减去”的促进策略,用一个简单有效的增强解码器,增强解码器中特征的恢复。另外,加入了多尺度结构相似性(MS-SSIM)损失函数,增强图像的边缘细节恢复。在合成数据集和真实数据集上的实验中,该模型的峰值信噪比(PSNR)和结构相似性(SSIM)明显优于传统的暗通道先验(DCP)、一体化除雾网络(AOD-Net)、渐进式特征融合网络(PFFNet)、条件Wasserstein生成对抗网络(CWGAN)去雾模型。实验结果表明,相较于对比算法,所提网络能够恢复出更接近于地面真相的无雾图像,除雾效果更优。

基于条件对抗自动编码器的跨年龄人脸合成

跨年龄人脸合成是指通过已知特定年龄的人脸图像合成其他年龄段的人脸图像,在动漫娱乐、公共安全、刑事侦查等领域有广泛的应用。针对跨年龄人脸合成图像容易产生器官变形扭曲、人脸局部特征保持效果不佳等问题,提出一种基于条件对抗自动编码器的合成方法。通过在解码器结构中引入通道关注和空间关注模块,分别从通道域和空间域提取重要信息,使模型在训练过程中忽略背景等无关信息,聚焦人脸图像变化的区域,有效解决合成图像器官扭曲变形等问题。此外,设计一种多尺度特征损失网络,从多个尺度更深层次地约束人脸图像的局部结构特征,从而保持人脸合成过程中局部特征结构的稳定性。在UTKFace跨年龄人脸数据集上的实验结果表明,与CAAE方法相比,该方法有效避免了人脸器官变形扭曲问题,能够更好地保持人脸局部结构特征,具有较佳的人脸合成效果和细节保持能力。

基于多线型特征增强网络的架空输电线检测

针对架空输电线可见光图像中环境背景复杂、电力线像素占比小,导致电力线检测精度低、断点率高的问题,提出具有强化线型特征提取和减少断点能力的多线型特征增强网络(MLED).利用双路残差框架提取线型电力线目标的主干和边缘特征,通过多特征融合模块,在不同尺度的层次上实现主干、边缘和高层特征的深度整合,输出检测结果.在多特征融合模块中嵌入残差、反卷积、多尺度结合等多路运算.实验结果表明,MLED的检测能力较PSPNet、FCRN、UNet有明显提高,多特征融合模块优于传统的残差连接块,可视化结果的F检验(F-Measure)、IoU平均值(Mean IoU)分别为78.4%、77.8%,断点率为30.8%.

GEE环境下的玉米低温冷害损失快速评估

大范围、及时、准确的灾害损失评估与制图对防灾减灾、农业保险和粮食安全等至关重要。针对传统灾害损失评估方法空间尺度单一、泛化能力差、时效性低,可操作性弱等问题,本文建立了一种遥感产品耦合作物模型的多尺度的灾害损失评估方法MDLA(a Multiscale Disaster Loss Assessment)。该方法利用作物模型的多情景模拟产生大量的灾害样本,结合对应日期的遥感指标构建灾害脆弱性模型,依托Google Earth Engine(GEE)平台将其应用到高分辨率遥感影像和格点灾害指标进行逐象元评估。以鄂伦春自治旗玉米为例,基于精细校准的CERES-Maize模型的模拟,利用两个生长季窗口的LAI和冷积温(CDD)建立统计模型来刻画低温对最终产量的影响,结合Sentinel-2数据逐格点计算完成高精度损失制图。结果显示,校准后的CERES-Maize模拟物候和产量的NRMSE分别为3.3%和8.9%。冷害情景模拟结果表明不同类型和生育期的低温冷害对玉米产量的影响不尽相同,其中生长峰值期(出苗—吐丝和吐丝—灌浆)最为敏感。回代检验显示,MDLA方法估算精度为11.4%,与历史冷害年份的实际损失相吻合。经评估,鄂伦春2018-08-09的冷害导致玉米减产23.7%,受灾面积1.86×104ha,其中高海拔地区损失较重(减产率>25%),低温冷害对该区玉米生产构成了严重的威胁。与现有的统计回归、作物模型模拟以及同化等技术相比,其优势在于:(1)结合遥感观测和作物模型模拟技术能更好地刻画了灾害对产量的影响过程;(2)利用GEE平台快速处理海量遥感数据,提高了灾害损失评估的时效性;(3)不受地面实测数据的限制,易操作,可实现动态、多尺度(象元、田块、村,县等)的损失评估,这为防灾减损、维持粮食丰产稳产提供了保障,也为农业保险的业务化运行提供了思路。

基于密集连接的单目图像深度估计

为解决当前单目图像深度估计方法中重复简单的上采样操作导致深度图物体边缘模糊、图像质量较差的问题,提出一种密集连接的单目图像深度估计方法.该方法采用端到端的编码器和解码器结构,从单个RGB图像进行深度估计.编码器引入性能优良的卷积神经网络EfficientNet-B5,可以高效地提取图像全局上下文特征.解码器设计为密集连接的上采样特征金字塔结构,将全局上下文特征从低分辨率转移到高分辨率,以获得更高质量的深度图.此外,通过设计一种全分辨率多尺度损失函数进一步提升物体边缘的深度估计精度.在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练和测试结果表明:本方法可以产生高精度的深度估计结果,预测的深度图边缘清晰、轮廓分明,所设计的消融实验充分验证了所提出方法各模块的合理性.

基于深度学习的高分辨率遥感影像土地覆盖自动分类方法

土地覆盖变化是全球变化研究的核心,而精准分类是开展土地覆盖变化研究的基础。高分辨率遥感卫星技术的快速发展对地表分类的速度和精度提出了双重挑战,近年来人工智能等新技术的发展为图像自动分割提供了实现途径,而以卷积神经网络为代表的深度学习方法在遥感图像分类领域也具有独特的优势。为对比深度学习模型设计对高分辨率图像分类结果的影响,本文以郑州市2019年高分1号影像作为输入,对比研究了基于UNet模型改进的4种不同深度学习网络模型在高分辨率影像土地覆盖自动分类应用中的差异,探讨了残差网络、模型损失函数、跳层连接和注意力机制模块等编码和解码设定对于分类精度的影响机制。研究发现:同时加入多尺度损失函数、跳层连接和注意力机制模块的MS-EfficientUNet模型对郑州市土地覆盖分类结果最优,基于像元评价的整体分类精度可达0.7981。通过在解码器中引入多尺度损失函数可有效提高林地、水体和其他类别的分类精度;而对编码器进行改进,加入跳层连接和注意力机制可进一步提高草地、水体和其他类别地物的分类精度。研究结果表明,深度学习技术在高分辨率遥感影像自动分类中具有潜在应用价值,但分类结果精度的进一步提高和多级别大范围的精细分类方法仍是下一步研究的重点。