SENet生成对抗网络在图像语义描述中的应用

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题,提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制,使网络能够更加充分和完整地提取图像中显著区域的特征,将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量,将词向量与编码后的图像特征相结合输入到解码器中,通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比,该方法的BLEU指标相比SentiCap方法提高了15%左右,其他相关指标均有提升。在自对比实验中,该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征,使描述图像的语句更加准确,情感色彩更加丰富。

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络(RNN)产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成:卷积神经网络(CNN)用于图像特征提取,属性提取模型(ATT)用于图像属性提取,而双向长短时记忆(Bi-LSTM)网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到BiLSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。

基于全局-局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.

用户视角下的敦煌壁画数字图像语义描述方法评价

为了从用户角度对敦煌壁画图像蕴含的信息进行语义描述、揭示与标注而提出的层次性图像语义描述框架(SDFDI)进行评价,文章通过访谈来获取用户理解敦煌数字壁画的信息需求,将这类信息需求归纳整理制成问卷来判断用户对壁画的理解程度。最后通过用户实验,比较用户使用标注系统前后对敦煌壁画理解程度的差异,以此评价层次性图像语义描述框架(SDFDI)的有效性。研究发现:用户在认知壁画图像时,对图像志(Pre-iconographic)层面的信息需求最高;该语义描述模型对图像志层面的问题标注效果最好;对底层视觉特征(Signal)层面问题的提升程度最差;SDFDI对故事性壁画的标注效果要好于佛经场景描述型的壁画。

面向非物质文化遗产的图像语义描述研究

图像资源在非物质文化遗产的保护工作中扮演着重要角色。针对现有非遗图像资源在呈现和组织中存在的问题,基于已有的成熟理论和方法体系,提出一种专门面向非遗图像语义信息的描述方法。基于Panofsky和Shatford的图像学理论模型构建专门面向非遗数字图像的语义描述框架,针对该框架设计一个完整的图像上下文关键词提取流程,并对该流程进行相应的实验操作和有效性实证研究。实验成功从样本数据中提取出语义关键词信息,表明本文的方法在总体上优于现有的著录体系,能带来更高的精准度和召回率。

基于视觉关系推理与上下文门控机制的图像描述

为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块.该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出.通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献.实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.