生成对抗网络图像类别标签跨模态识别系统设计

针对传统图像类别标签识别系统只能单一模态识别图像类别标签的问题,设计一种生成对抗网络图像类别标签跨模态识别系统。将待识别图像输入系统跨模态多标签标定模块中,该模块采用卷积神经网络构建图像模型和文本模型,采用同质迁徙学习和混合迁徙学习训练两个模型,融合训练后的图像内容和说明文本两种模态,多模态类别标签标定图像;将标定图像传输到生成对抗网络中,该网络采用流行一致方法结合生成器生成的图像和隐变量、真实图像和编码器获取的图像特征,将结合结果传输到鉴别器后采用循环交替优化方式训练对抗网络,输出图像类别标签识别结果。经过实验分析发现,该系统能跨模态识别出原始图像中的花、电视图像类别标签,汉明损失数值均低于0.02,宏平均值高于0.97,系统跨模态识别图像类别标签效果好。

边缘深度挖掘的弱监督显著性目标检测

基于深度学习的显著性目标检测算法大多依赖于大规模标注数据下的监督学习模式,但是,样本的像素级标签存在获取困难、标注成本高的问题。为此,设计一种边缘深度挖掘的弱监督显著性目标检测算法,仅使用图像级类别标签,从输入图像的显著性目标边缘角度得到能够较准确描述目标轮廓信息的边缘特征图,以生成伪标签对显著性模型进行监督训练。通过粗糙边缘生成模块对显著性目标轮廓特征进行简单标定,用于获取粗糙边缘特征图。在此基础上,利用精细边缘生成模块优化特征以得到精细边缘特征图,能够更准确地反映目标的边界信息,在完整刻画轮廓信息的同时可以更好地抑制背景噪声。伪标签生成模块基于精细边缘特征图生成像素级伪标签。实验结果表明,相比MSW、MFNet、NSAL等算法,该算法能够准确识别显著性区域,获得的预测图具有较完整的细节信息,其中,在ECSSD数据集上S-measure值和E-measure值相较于第2名NSAL算法分别提高1.1和0.6个百分点。