遥感场景理解中视觉Transformer的参数高效微调

随着深度学习和计算机视觉技术的飞速发展,遥感场景分类任务对预训练模型的微调通常需要大量的计算资源。为了减少内存需求和训练成本,该文提出一种名为“多尺度融合适配器微调(MuFA)”的方法,用于遥感模型的微调。MuFA引入了一个多尺度融合模块,将不同下采样倍率的瓶颈模块相融合,并与原始视觉Transformer模型并联。在训练过程中,原始视觉Transformer模型的参数被冻结,只有MuFA模块和分类头会进行微调。实验结果表明,MuFA在UCM和NWPU-RESISC45两个遥感场景分类数据集上取得了优异的性能,超越了其他参数高效微调方法。因此,MuFA不仅保持了模型性能,还降低了资源开销,具有广泛的遥感应用前景。

基于编解码网络的航空影像像素级建筑物提取

建筑物提取在城市规划等土地利用分析中发挥着重要作用。用于提取建筑物的传统方法通常基于手工特征和分类器,导致精度较低。本文基于编解码结构的卷积神经网络CNN(Convolutional Neural Networks),自主学习多级的和具有区分度的特征来更好地辨识建筑物和背景,实现航空影像中的像素级建筑物提取。该网络由编码子网络和解码子网络两部分组成,编码子网络对输入图像进行空间分辨率压缩,完成特征提取;解码子网络从特征中提升空间分辨率,完成像素级的建筑物提取。此外,本文使用视野增强FoVE(Field-of-View Enhancement)方法减轻边缘现象(切片边缘附近的建筑物提取精度通常低于中心区域附近的精度)的影响,并分别在两个建筑物提取标准数据集上的实验表明,编解码卷积神经网络能有效实现像素级建筑物提取,FoVE能有效提高建筑物提取准确率;通过改变预测时切片大小和重叠度,分析其对建筑物提取结果的影响,揭示了FoVE的饱和性。

数据受限条件下的多模态处理技术综述

随着多媒体技术的发展,可获取的媒体数据在种类和量级上大幅提升。受人类感知方式的启发,多种媒体数据互相融合处理,促进了人工智能在计算机视觉领域的研究发展,在遥感图像解译、生物医学和深度估计等方面有广泛的应用。尽管多模态数据在描述事物特征时具有明显优势,但仍面临着较大的挑战。1)受到不同成像设备和传感器的限制,难以收集到大规模、高质量的多模态数据集;2)多模态数据需要匹配成对用于研究,任一模态的缺失都会造成可用数据的减少;3)图像、视频数据在处理和标注上需要耗费较多的时间和人力成本,这些问题使得目前本领域的技术尚待攻关。本文立足于数据受限条件下的多模态学习方法,根据样本数量、标注信息和样本质量等不同的维度,将计算机视觉领域中的多模态数据受限方法分为小样本学习、缺乏强监督标注信息、主动学习、数据去噪和数据增强5个方向,详细阐述了各类方法的样本特点和模型方法的最新进展。并介绍了数据受限前提下的多模态学习方法使用的数据集及其应用方向(包括人体姿态估计、行人重识别等),对比分析了现有算法的优缺点以及未来的发展方向,对该领域的发展具有积极的意义。