基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

多模态语言舆情数据集构建与识别方法

针对现有语言舆情领域缺乏研究数据集的问题,通过构建语言舆情信息源库,确立了语言舆情的信息来源和范围,并对其中包含的微博数据进行采集,以构建多模态语言舆情数据集。进一步提出了一种基于多模态融合的语言舆情识别方法,通过注意力机制增强单模态特征,并学习不同模态特征之间的依赖关系,以生成细粒度的多模态表示。实验结果表明,本文方法在准确率上优于现有的多模态分类方法,可有效识别出语言舆情信息。

基于视觉语言提示学习的少样本图像分类方法

为了提高少样本图像分类的性能和泛化能力,充分利用大规模视觉语言预训练模型,提出了一种高效处理少样本图像分类问题的方法。首先,在文本编码部分,整合多个可学习的文本提示,充分挖掘图像类别标签在提示语句中不同位置对模型泛化性能的影响;其次,在图像编码部分,引入可学习的视觉提示,使图像预训练参数能更好地表征少样本图像;最后,在图像和文本特征编码器后添加特征适配器,并在图像分类数据集上微调网络,以提升网络在少样本图像分类数据集上的性能。在10个公开数据集上进行了大量实验,结果表明,相较于现有方法,所提方法在单样本分类的平均准确度上提高了2.9%。

融合双通道标签语义的多标签文本分类模型

针对多标签文本分类任务中的标签语义表示,提出了一种双通道标签语义增强模型。该模型包含2个重要的组成模块:基于标签共现的图卷积网络模块和基于预训练的标签语义嵌入模块。前者利用图卷积网络捕获标签之间的语义关联,增强每个标签的语义信息;后者利用预训练模型中的先验知识,增强标签的语义表示。最后,利用注意力机制融合并深度编码来自双通道的标签语义信息。在2个公开数据集AAPD、RCV1-V2上的多标签文本分类实验结果表明:与主流基线方法相比,该方法的精确率、召回率和微F1(Micro-F1)均有显著提升。

粒子群优化Contourlet变换的遥感影像融合算法

Contourlet变换能有效地应用在图像增强领域,基于Contourlet变换的遥感影像融合算法常采用高频低频替换和频域线性加权两种融合方法,因此,通过粒子群优化算法对基于Contourlet变换分解不同子带图像所需的不同加权系数进行优化,采用多元回归分析方法设定目标函数,实现了全色影像与多光谱影像的融合,与传统的Contourlet变换、PCA算法、高通滤波遥感影像融合算法相比较,新方法在提高影像清晰度的同时在光谱保真度方面相对于其他算法有明显优势.