基于双注意力机制的零样本建筑图像分类方法

零样本建筑图像分类是在标记训练样本不足以涵盖所有类的情况下,利用已知建筑类别与未知建筑类别之间的知识迁移对未知类样本进行分类。针对建筑风格分类中标记数据少及局部判别性特征定位不准确的问题,提出一种基于双注意力机制的零样本图像分类方法。该方法首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中,通道注意网络学习不同通道权重以定位图像中的建筑物;空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征,获取具有通道和空间双层维度的特征表示。其次,为减少空间映射过程中出现的信息损失,使用生成器重建视觉特征。最后,设计公共空间嵌入的零样本建筑图像分类模型,在子空间对齐视觉特征和语义特征,通过最近邻匹配实现分类任务。实验结果表明,所提方法较当前零样本学习方法而言,在零样本数据集CUB及建筑风格数据集Architecture Style Dataset上的平均分类准确率分别提高1.3和0.7百分点。

街景影像下的临街建筑风格映射及地图生成方法

精细化的城市建筑风格地图已成为古建筑保护、城市规划、旅游资源开发的重要参考依据。但城市建筑众多,信息采集困难,仅靠人工难以实现成图,因此提出了面向街景影像建筑区域匹配的建筑风格地图生成方法。首先,在提取特征建筑风格影像的基础上,结合球形全景影像的空间几何约束和图像特征,通过匹配同名建筑区域构建双像建筑区域点位映射;然后,利用街景采集点到建筑俯视轮廓的方位范围,提出单像建筑区域方位映射,建立街景建筑区域与单体建筑俯视轮廓的空间匹配关系;最后,综合判定各单体建筑的风格属性,生成精细尺度的建筑风格地图。实验结果表明,基于单、双像位置映射的建筑区域匹配正确率分别达80.3%和85.1%,且19类建筑风格地图的分类精确率为55.1%,召回率为76.4%,在一定程度上能反映大范围的城市建筑风格的地理分布特征。