SENet生成对抗网络在图像语义描述中的应用

针对图像语义描述过程中存在的语句描述不够准确及情感色彩涉及较少等问题,提出一种基于SENet生成对抗网络的图像语义描述方法。该方法在生成器模型特征提取阶段增加通道注意力机制,使网络能够更加充分和完整地提取图像中显著区域的特征,将提取后的图像特征输入到编码器中。在原始文本语料库中加入情感语料库且通过自然语言处理生成词向量,将词向量与编码后的图像特征相结合输入到解码器中,通过不断对抗训练生成一段符合该图像所示内容的情感描述语句。最后通过仿真实验与现有方法进行对比,该方法的BLEU指标相比SentiCap方法提高了15%左右,其他相关指标均有提升。在自对比实验中,该方法在CIDEr指标上提高3%左右。该网络能够很好地提取图像特征,使描述图像的语句更加准确,情感色彩更加丰富。

数字人文视域下图像知识复用语义模型研究

知识是人类认识的结晶,当知识转移时便产生了知识复用。数字技术高度发展的今天,图像应纳入数据流通环节,成为一种“活”的资源。论文从描述层面、组织层面和内容层面3部分构建了图像知识语义模型,分别对应图像的元数据复用、图像复用和内容复用。其中,内容层面的语义模型又涉及对象目标的内容、标签、方位和语义关联4个维度。在图像知识语义模型基础上,论文从“图像复用”“标注复用”和“混合复用”3方面构建图像知识复用链。案例分析部分从“图像复用”“研究独立”和“知识传承”3个角度探讨了图像知识复用的优势,尽可能为图像资源的数字人文应用提供崭新的研究视角和可操作路径。

敦煌壁画数字图像语义描述方法研究

数字图像的语义描述与标注是解决图像检索中语义鸿沟问题的关键。由于缺乏面向领域的有效的数字图像描述方法规范,基于图像底层视觉特征的机器标注和基于专家知识的人为标注的标注结果都存在标注信息质量不高和结果不统一的问题。针对这一现实问题,本文基于图像元数据和信息需求理论,针对敦煌壁画数字图像这一特定文化遗产领域,提出了语义描述框架和领域主题词表相结合的数字图像内容语义描述方法,详细阐述了语义层次及其相互关系。同时,从图像语义描述粒度的角度讨论了语义粒度大小对标注成本的影响,以及该语义描述框架的可移植性问题。

基于目标语义特征的图像检索系统

为克服当前基于内容的图像检索技术中低级特征无法准确全面地描述高级语义的问题,该文设计和实现了一个基于目标高级语义特征的检索系统。该系统利用了一个多级图像描述模型将语义特征结合到图像检索技术中。该图像描述模型通过在不同层次上对图像内容进行分析和描述,实现了从低级特征到高级语义的过渡。在此模型的基础上还研究了相应的检索机制和反馈技术。该系统的检索机制定位于图像中目标的语义内容,与传统的图像检索系统相比更接近人对图像内容的理解,从而使检索过程更简便,检索效率也得到很大提高。基于目标描述的自适应相关反馈可针对不同用户的不同需求给出相应的检索方案,从而使检索结果得到优化。

面向数字人文的图像语义描述模型研究

[目的/意义]数字人文领域中图像包含大量的重要语义信息,是重要的研究对象,然而由于"语义鸿沟"的问题,目前常用的图像自动化标注方法并不适用于这一领域的图像语义描述工作。[方法/过程]提出一种面向数字人文的图像语义描述模型。根据用户认知特征制定图像语义结构化描述框架,并利用多方法组合进行语义特征词抽取与映射。最后,采集中国国家图书馆老照片数据进行实验。[结果/结论]实验结果显示,文章构建的模型在充分符合反映用户认知习惯的同时,对于语义特征词的识别与映射效果较好,有助于解决数字人文环境下图像语义描述问题。

演化视角下图像的语义表示

作为记录信息的一种重要形式,图像包含了丰富的语义信息。随着图像资源的不断累积,有效的图像语义表示成为了提高图像检索效率的关键。文章梳理了关于图像描述与表示的相关研究,归纳出现有研究仍存在对过程性知识的表示相对不足,反方向的概括关联表示相对薄弱这两项问题。因此为探究自然有效且可计算的图像语义表示方式,我们提出以"演化"的视角来剖析图像的语义表示问题。文章构建了基于表示过程的层次描述框架,深入分析了该表示方式的重点与难点,并以具体案例示例说明。基于演化视角的图像语义表示重视表示结果与过程,符合用户解读习惯,为更高层次的语义推理和知识发现累积更丰富且可计算的信息。因此该图像语义表示方法具有一定的实用性,可被应用于辅助专家/用户的图像标注等具体实践领域。

基于结构模型的人运动图像语义描述

人运动图像语义的研究是对人运动图像中人体运动行为的一种描述方法,通过其语义来实现图像的识别与检索。该文希望通过对人体运动的几种较为简单的动作语义的研究,来开启对人运动图像语义的全面研究。为了实现该目标,提出了基于模型的人运动图像的语义描述,即模型语义,模型语义具有直观性、推导性和可行性。通过定义基本模型和语义操作规则,建立一个语义的形式描述理论,此模型语义是人运动图像语义全面研究的基础。

图像语义的模型结构描述

图像语义是研究图像模式识别与图像检索的一个新理论。如何有效地建立起图像语义的描述,图像的语义模型能够给出一个直观的、形象的描述,为研究图像语义奠定快速的、可靠的基础。文章从图像固有属性、图像对象和人为意识三方面就图像语义的模型作了一些探讨性研究,为进一步研究图像语义的描述奠定了基础。

基于三维人体语义模型的人行为自然语言描述

研究视频场景中人体行为自然语言描述的实现方法。首先建立三维人体的语义模型和主要的关节点运动模型,并建立人体运动语义描述基本数据库。应用图像自动场景标注技术来描述背景图像。通过人体简单动作的语义逻辑运算,得到人的组合动作和相互动作。将人的行为动作组合场景语义,从而准确描述出人在复杂场景的语义行为。最后建立简单的中文语法规则,得到人在场景中行为的自然语言描述。实验结果表明:与传统的二维模型相比,三维模型结合了场景语义并能解决遮挡问题,可以准确表达更为复杂的人类行为。

一种基于语义特征的快速人脸检索方法

运用数字图像处理技术、人脸模式识别技术与传统的数据库检索技术,融合基于文本的图像检索和基于内容的图像检索两者技术优势为一体,避开了在图像之间进行的繁琐匹配处理过程;以200人为待测样本进行检索实验,正确检索出来的为155人,完全匹配的为125人,系统的识别率为75.55%,平均检索时间小于0.1 s;实验证明,这种方法具有很强的鲁棒性,使用此方法所建立的语义人脸图像检索系统,具有快速、高效、实用的特点。

基于语义模型的人运动图像跟踪

计算机视觉研究中,为了实施对人运动图像的跟踪,本文提出了基于变化区域的对象刚体标注法和语义模型跟踪法,通过对标注的刚体特征点在空间位移的估算,结合特征点在水平面上投影所形成的特征码来构成刚体的运动语义数学模型,从语义模型来计算特征点的运动位置,从而实现对人运动的跟踪,对于人的复杂运动描述也具有参考价值.

基于FMM的图像建模与语义对象分割

提出一种基于有限混合模型(FMM)的图像自动建模与语义分割方法。算法采用分水岭算法进行预分割,以给FMM模型设定合适的初始参数。同时针对传统EM算法的不足,对其分类结果自动执行合并与分裂操作以获得最佳分类数并跳出局部极值点。实验结果显示新方法能获得较精确的具有良好视觉感知的语义分割结果。

数字人文图像资源知识组织模型构建研究

数字人文图像资源蕴含大量的知识信息,是人文科学研究的重要对象。然而由于知识组织形式和语义描述程度的限制,这部分资源的利用效果尚未完全释放。针对这一问题,提出一种四层架构的面向数字人文图像资源的知识组织模型,并对模型中的语义描述部分利用本体的技术与方法进行框架构建,以期为相关领域的理论研究和实践拓展提供参考。