基于自上而下注意力机制的零样本目标检测

由于可见类和未见类目标数据分布的差异性,目前基于映射迁移策略的零样本目标检测算法在测试时容易偏向可见类别的目标,且因为不同类别在属性上的相似性,特征分布比较混乱。本文提出一种新的零样本目标检测框架,利用所设计的先验知识提取模块和自上而下注意力机制模块,为检测过程提供任务导向,引导模型在训练期间关注出现的未见类特征,提高模型对不同数据分布的判别性;还设计了一种新的对比约束以提高特征之间的聚类能力;在MSCOCO标准数据集上进行了大量实验。结果表明,该模型在标准和广义零样本目标检测任务上都取得了显著效果。

融合自上而下和自下而上注意力的图像描述生成

随着互联网的普及,每天都有海量的图片被传入互联网中。为了能更好地利用这些图片的价值,图像描述生成技术应运而生。提出一种融合自上而下和自下而上注意力的图像描述生成模型。在工作时,该模型分别利用预训练的ResNet101和Faster R-CNN(regions with convolutional neural network)提取输入图片的全局特征和局部特征,并利用自上而下和自下而上注意力分别计算两种特征的权重;利用门控循环单元(gate recurrent unit, GRU)提取一句话中单词之间的上下文语义信息;利用长短期记忆网络(long short-term memory, LSTM)解析图像特征和语义信息并生成描述语句。在训练时,首先以监督学习的方法,训练出基于编码器-解码器框架的一个基础模型;然后再以结合生成式对抗网络和强化学习的方法,在相互对抗中得到不断优化的策略函数和不断完善的奖励机制,从而使生成的句子更加准确、自然。本文模型在COCO数据集上进行训练和测试,最终在评价指标BLEU@1(bilingual evaluation understudy@1)上达到0.675,在BLEU@4上达到0.24,在CIDEr(consensus-based image description evaluation)上达到0.734,在ROUGE(recall-oriented understudy for gisting evaluation)上达到0.51。实验结果表明了本文模型的可行性与先进性。