局部位置特征与全局轮廓特征相结合的图像分类方法

在空间金字塔词袋模型的基础上,针对其空间信息利用不足的问题,本文先计算图像中每一个字典向量的相对位置分布来提取出局部位置特征.然后,用非下采样轮廓波变换和线性判别分析来生成图像的全局轮廓特征.最后,通过局部位置特征与全局轮廓特征相结合的方式提高空间信息利用率,从而提高场景和物体图像分类正确率.为了检验方法的可行性,本文分别在数据库Caltech 101、MSRC和15 Scene上进行实验.实验结果证明,本文提出的方法进一步利用了空间信息,从而提高了分类正确率.

结合互信息最大化的文本到图像生成方法

在堆叠式文本到图像生成模型的基础上,针对其生成样本分布不均匀导致多样性不足的问题,提出了一种结合局部-全局互信息最大化的堆叠式文本到图像的生成对抗网络模型。首先利用生成模型将全局向量解耦得到不同尺度特征图;然后通过最大化特征图与全局向量间的互信息,对图像全局特征与文本描述的相关性进行增强;最后,将特征图提取为局部位置特征向量,通过最大化局部位置特征向量与全局向量之间的平均互信息,加强局部位置特征与文本描述的相关性,得到更紧密的文本到图像的映射关系。在CUB数据集上的实验验证了该方法能有效地提高生成样本的多样性,同时在主观评价上能生成语义精确度更高的样本,更接近自然图像。