结合残差学习和双模态CAE的图像描述方法

针对传统图像描述方法存在提取图像关键信息精度不高、描述不准确等问题,提出了一种结合残差学习和双模态CAE的图像描述方法。提出一种新型双模态卷积自动编码器(CAE)结构,包括图像和文本两个输入,以及编码、隐藏层交互、解码等处理环节,完成对输入图像的文本描述;在经典CAE中加入残差学习,与CAE的卷积层构成深度残差网络(DRN),增加了学习深度,以提高方法的准确率;将文本和图像的隐藏层进行交叉重构,以最小化损失函数为目的,训练得到图像-文本的关系,从而实现图像的描述。利用COCO和Flickr30k数据集对所提方法进行定性和定量的仿真实验,其结果论证了所提方法的有效性,与其他方法相比,评价指标Med r最低,且R@K(K=1,5,10)最高,运算时间仅为0.183s,能够更为精准地描述图像。