基于词向量融合的遥感场景零样本分类算法

零样本分类算法无须标注要识别的类别样本,因而能大幅度降低实际应用成本,近年来受到广泛关注。遥感场景类别的语义词向量与图像特征空间原型的结构不一致问题,严重影响了遥感场景零样本的分类效果。利用不同词向量间的互补性,文中提出一种基于语义词向量融合的遥感场景零样本分类算法,即耦合式解析字典学习(Coupled Analysis Dictionary Learning,CADL)方法。首先,采用稀疏编码效率较高的解析字典学习方法获取各语义词向量的稀疏系数,以减少冗余信息;然后,将对应的稀疏编码系数串接后作为融合语义词向量表示,并将融合语义词向量线性映射到图像特征空间,与图像特征空间场景类别原型表示进行结构对齐,以降低结构差异性;最后,计算得到要识别的场景类别的图像特征原型,并采用最近邻分类器在图像特征空间完成分类。在UCM和AID数据集上对多种语义词向量的融合进行定量实验,同时将RSSCN7数据集作为已知场景类别的数据集来对两幅实际遥感图像进行定性实验。在UCM和AID上的定量实验分别获得了最高总体分类准确度48.40%和60.23%,相比于典型零样本分类方法的总体分类准确度分别提升了4.80%和6.98%。对两幅实际遥感图像的定性实验,同样获得了最佳零样本的分类效果。实验结果表明,多种语义词向量融合,可以获得与图像特征空间原型结构更一致的语义词向量,且显著提升了遥感场景零样本分类的准确度。

基于图像特征融合的遥感场景零样本分类算法

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。

基于局部保持的遥感场景零样本分类算法

目标域遥感图像特征分布的变化,导致遥感场景零样本分类性能下降,针对该问题,提出一种基于局部保持的遥感场景零样本分类算法。首先,为减少冗余信息,采用解析字典学习方法,将源域中的场景图像特征和类别语义词向量嵌入到同一稀疏编码空间,并实现两者稀疏系数的强制对齐,以建立图像特征与词向量之间的关系;然后,通过保留图像特征空间中场景图像间的局部近邻关系,增强场景图像对应稀疏系数的鉴别性,以有助于对稀疏系数进行聚类分析;最后,为适应目标域图像特征分布变化,采用k-means算法对目标域场景图像的稀疏系数进行聚类,并以初始中心的类别标签作为对应的聚类簇中场景的类别标签。实验分别采用GoogLeNet和VGGNet图像特征,以数据集UCM作为源域遥感场景集,对目标域场景集RSSCN7进行零样本分类,获得了最高50.67%和53.29%的总体分类准确度,比现有算法各提升了8.06%和9.70%。实验结果表明:该算法能够适应目标域遥感场景图像特征分布的变化,显著提升遥感场景零样本分类效果,具有一定的优越性。

基于词向量一致性融合的遥感场景零样本分类方法

遥感场景类别的语义词向量与图像特征原型的距离结构不一致问题,严重影响遥感场景零样本分类效果。针对该问题,利用不同词向量间一致性,提出一种基于解析字典学习的语义词向量融合方法,以提升遥感场景零样本分类效果。首先,采用解析字典学习方法,提取场景类别的不同词向量的公共稀疏系数,并作为融合后的语义词向量;然后,同样采用解析字典学习方法,将场景类别的图像特征原型嵌入到融合后的词向量空间,与融合后的词向量进行结构对齐,降低距离结构的不一致性;最后,通过联合优化获得未知类的图像特征空间类别原型表示,并采用最近邻分类器完成未知类别遥感场景的分类。在3种遥感场景数据集和多种语义词向量上进行定量和定性实验。实验结果表明,通过词向量融合可以获得与图像特征原型结构更一致的语义词向量,从而显著提升遥感场景零样本分类的准确度。