基于3D金字塔残差网络的高光谱图像分类方法

鉴于提取高光谱图像深层次特征时,深度学习网络面临的网络层数加深、特征图数量增多、计算量增大、梯度消失等问题,提出了一种3D金字塔残差卷积神经网络,通过将3D卷积块引入金字塔残差模型中,实现了高光谱图像空谱特征的同时提取,并利用金字塔残差网络逐级增加特征图维度,大大降低了模型的参数量.Pavia University和Salinas数据集测试结果显示,该方法分别取得了99.936%和99.879%的总体分类精度,分类效果优于SVM、3D-CNN、ResNet18等3D卷积模型,且网络参数仅为ResNet18等模型的1%.可见,该方法达到了网络参数和图像分类精度的双优表现,是一种有效的高光谱遥感影像分类方法.

基于区域聚焦特性的多聚焦图像融合算法

针对现有多聚焦图像融合算法存在的伪影和信息残留问题,提出了一种依据图像聚焦特性,最大程度保留各区域信息和清晰度的算法。首先,通过区域检测得到聚焦区域决策图,利用该决策图进行初始融合和边界提取,得到边界区域决策图;其次,利用ACS网络学习多聚焦图像的融合规则,生成网络融合图;最后,根据边界区域决策图对初始融合图和网络融合图进行加权求和,得到最终的融合图像。实验结果表明:该算法在聚焦区域和边界区域都优于其它比较算法,各项评估指标分别提高4.8%和1.5%以上;同时主观效果更符合HVS。实验证明了在保留源图像的细节信息和避免各个区域的视觉伪影上,该算法都能取得很好的效果。

人体姿态估计网络的轻量化设计

以金字塔残差模块为基础,设计了一个轻量化的网络模型。使用深度可分离卷积代替普通的卷积以减少训练的参数,同时加入通道分离模块和通道混合模块来改变特征图通道维数,以加强特征的融合。为保证网络仍然能更完整的提取特征,只对恒等映射部分进行了通道分离处理,在最后的特征融合加入了通道混合模块,在标准MPII数据集上进行测试。结果表明,轻量化的金字塔残差网络有效地减少了网络的参数,减少了约1/2的参数存储空间并保持相当的准确度,同时复杂度仅为2.83 GFLOs。

基于小波融合的图像残差金字塔超分辨率研究

提出了基于小波融合的残差金字塔超分辨率方法。算法包括2部分:1)通过残差金字塔分别估计多幅低分辨率图像的高频信息;2)对获得的多幅高分辨率图像进行小波融合。图像的低频部分采用能量加权法融合,高频部分采用最大值规则融合,融合后经过小波反变换得到最终的高分辨率图像。研究结果表明,该算法避免了大量的迭代运算,降低了计算复杂度,使大尺寸图像的超分辨率成为可能。

基于金字塔瓶颈残差网络优化算法的多光谱影像分类

提出了一种使用深度金字塔残差网络来构造分类网络的方法,用于多光谱影像分类。该方法利用残差模块加深网络复杂度,利用金字塔瓶颈模块提取图像中的高层特征。针对高分一号、RapidEye和GeoEye卫星影像的实验结果表明,新方法表现出优越的泛化能力和更高的精度。

改进Mask R-CNN的细粒度车型识别算法

针对车辆型号繁多、部分型号间差异较小带来车辆分类困难的问题,构建一种基于改进的Mask R-CNN细粒度车辆型号识别算法。改进后的算法采用聚合残差-特征金字塔网络(ResNeXt-FPN)提取特征图;调整了区域建议网络(RPN)中锚(Anchor)的尺寸大小;用Soft-NMS代替了非极大值抑制算法(NMS),以提高检测精度;去除掩码分支,节省了预测时间。为了验证算法改进的效果,将其与最新的目标检测算法进行对比。实验结果证明,改进的算法提高了车辆识别的准确率,比原始算法准确率提升了2%。

基于特征融合的文本到图像的生成

近年来,基于生成对抗网络(Generative Adversarial Network, GAN)从文本描述中合成图像这一具有挑战性的任务已经取得了令人鼓舞的结果。这些方法虽然可以生成具有一般形状和颜色的图像,但通常也会生成具有不自然的局部细节且扭曲的全局图像。这是因为卷积神经网络在捕获用于像素级别图像合成的高级语义信息时效率低下,以及处于粗略状态的生成器-鉴别器由于缺少详细信息生成了有缺陷的结果,而这个结果会作为输入促使最终结果的生成。因此,提出了一种基于特征融合的生成对抗网络。该网络通过嵌入残差块特征金字塔结构来引入多尺度特征融合,并通过自适应融合这些特征直接生成最后的精细图像,仅使用一个鉴别器就可以生成256 px×256 px的逼真图像。将所提方法在花类数据集Oxford-102和加利福尼亚理工学院鸟类数据库CUB上进行验证,使用Inception Score和FID评估生成图像的质量,结果表明,生成图像的质量明显优于以往若干经典的方法。

基于尺度自适应全卷积网络的遥感影像建筑物提取

为了提高网络对高空间分辨率遥感影像多尺度建筑物的提取效果,在编码-解码网络的基础上提出了一种高效的尺度自适应全卷积网络。首先,构建多输入多输出结构,实现多尺度特征融合和跨尺度特征聚合。然后,用残差金字塔池化模块学习深层自适应多尺度特征。最后,用基于残差密集连接的聚合特征精化模块进一步处理初始聚合特征,利用不同尺度特征图的像素依赖关系提升分类精度。在差异较大的WHU航空数据集和Massachusetts数据集上的实验结果表明,相比其他方法,本方法对建筑物的提取效果较好,且训练时间和内存占用情况适中,具有较高的实用价值。

轻量级注意力约束对齐网络的视频超分重建

目的深度学习在视频超分辨率重建领域表现出优异的性能,本文提出了一种轻量级注意力约束的可变形对齐网络,旨在用一个模型参数少的网络重建出逼真的高分辨率视频帧。方法本文网络由特征提取模块、注意力约束对齐子网络和动态融合分支3部分组成。1)共享权重的特征提取模块在不增加参数量的前提下充分提取输入帧的多尺度语义信息。2)将提取到的特征送入注意力约束对齐子网络中生成具有精准匹配关系的对齐特征。3)将拼接好的对齐特征作为共享条件输入动态融合分支,融合前向神经网络中参考帧的时域对齐特征和原始低分辨率(low-resolution,LR)帧在不同阶段的空间特征。4)通过上采样重建高分辨率(high-resolution,HR)帧。结果实验在两个基准测试数据集(Vid4(Vimeo-90k)和REDS4(realistic and diverse scenes dataset))上进行了定量评估,与较先进的视频超分辨率网络相比,本文方法在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)方面获得了更好的结果,进一步提高了超分辨率的细节特征。本文网络在获得相同的PSNR指标的情况下,模型参数减少了近50%。结论通过极轴约束使得注意力对齐网络模型参数量大大减少,并能够充分捕获远距离信息来进行特征对齐,产生高效的时空特征,还通过设计动态融合机制,实现了高质量的重建结果。