基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

《镜花缘》图像文本比较研究——从清代点石斋石印本谈起

本文从《镜花缘》的三个图像文本入手,以清代上海点石斋石印本《绘图镜花缘》为主要文本,探讨其图像文本的发展变化,再由此切入当时社会历史情境的讨论之中。本文的第一部分是对《镜花缘》图像版本的梳理,包括关于图像版本年代的考辨、插图形式的对比、插图在小说中具体位置的分析等。所谓“图像”(image)文本,即包含“绘画”(painting)和“图像”(picture)的文本。以本文主要探讨的点石斋本《绘图镜花缘》来说,作为书籍插图,其媒材是无法被忽视的。可以说,石印本《绘图镜花缘》达到了图像叙事的高潮。第二部分是对小说插图产生的社会背景及其印刷技术来做详细的介绍。笔者将试着分析石印本《镜花缘》插图是如何叙事的,并引出孙继芳彩绘本《镜花缘图册》对石印本插图的逆转。第三部分则是将这两种绘于不同媒材的插图进行比较,以此窥探其图文关系。

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB bird这个带有文本标签的数据集上进行定量和定性实验表明,提出模型在PSNR(peak signal-to-noise ratio)、SSIM (structural similarity)以及MAE(mean absolute error)度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。

图像文本定位技术研究

图像文本定位是图像中文本识别的关键步骤。介绍了文本图像的分类及特征,分析了图像文本定位常用算法的应用范围及优缺点,提出了文本定位算法的评价方法,阐述了文本定位的应用领域,并对今后文本定位的研究方向进行了分析。

基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善。或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无法充分表达其全局语义信息。针对该问题,本文提出一种基于堆叠交叉注意力的图像文本跨模态匹配方法。该方法在考虑局部图像与局部文本匹配的同时,将堆叠交叉注意力引进全局图像与全局文本匹配,通过注意力来进一步挖掘全局特征信息,让全局图像与全局文本特征得到优化,从而提升图像文本跨模态检索的效果。在Flickr30K和MS-COCO两个公共数据集上进行了实验验证,模型的总体性能R@sum(Recall@sum)较baseline(SCAN)分别提高了3.9%与3.7%。该模型与SCAN模型相比,R@sum表现较好。由此表明本文提出方法在图像文本跨模态检索任务上的有效性,并且与现有方法相比具有一定的优越性。

论媒介图像文本与受众互动关系的重构

从艺术图像文本到媒介图像文本转向的历史演进过程中,由于媒介技术的发展,媒介图像文本越来越具有"拟像化"的特征。媒介图像文本的不同特征,构成了与受众不同的传播互动关系;在"图像转向"时代,大众传媒构建了与受众互动关系的三重维度,即客观现实、媒介现实(拟态环境)、主观现实,媒介图像文本作为联结受众的介质,使这三种现实在受众视域中的融合成为可能,创造了具有虚拟化特征的媒介现实;同时,大众传媒语境也催生了基于媒介图像文本与受众传播效果关系的媒介修辞方式,受众通过对媒介图像文本的解构,还原并重构了关于现实的图像与意义。

图像文本阐释属性及其过程辨析

图像文本在视觉文化时代里处于优势解读地位。有必要在对图像文本的定义及其阐释属性加以论述的基础上,将德国潘诺夫斯基提出的图像阐释三步骤借用到更具广泛意义的图像文本分析中,提出图像文本的阐释是一个具有开放性、互动性与意识形态性的过程,它折射出阐释过程普遍受到文化规约,受众需掌握丰富的相关知识才能把握图像文本的真实意蕴。

图像文本意义零度阐释之探究

进入视觉文化时代后,图像文本意义的阐释渐成为人们生活的中心。对图像文本是否存在意义上的零度阐释这一疑惑,文章从一般符号学、影像符号学以及新修辞学这三个理论视角对此展开探究,结论为:一个文化集团的社会文化规约性在理解阐释活动中具有一种弥漫性和支配性力量,来自特定文化社团的受众不可避免地借助社会文化规约完成释义活动,图像文本意义的零度阐释是不存在的。对跨文化语境下的多模态英语课堂而言,学习者需加强对目标语文化规约性知识的储备,以期实现对图像文本的成功阐释。

当代戏曲动画中图像文本的叙事结构分析

戏曲动画是最具中国特色的动画艺术类型之一,它是中国传统戏曲与当代数字媒体艺术跨界融和的产物,具有深厚的"戏曲基因"。因此,戏曲动画在叙事结构上具有一般动画所不具备的叙事模式。在整个叙事过程中,各种叙事元素和谐共生,共同构成了丰满多变的叙事模式,这也是当代戏曲动画在叙事模式上最为动人的闪光之处。

图像文本分析技术及其应用

文本是计算机视觉的许多应用中的一项重要特征。大量复杂图像文本的应用 ,使图像文本分析技术成为研究的新方向。图像文本分析技术和通常的文档图像分析技术之间有着紧密的联系 ;但是图像文本其自身所具有的特性 ,又使得图像文本分析技术具有不同于一般的文档图像分析的更加丰富的内容。我们将图像文本分析技术划分为三大组成部分 :图像文本定位、图像文本的预处理和图像文本的识别进行讨论。最后 ,本文也对图像文本分析技术的应用进行了讨论。

基于SWT法网络社交平台图像文本检测

网络社交平台图像包含丰富的文本信息,而文本检测是提取这些文本信息的基础。针对网络社交平台图像的特点,提出一种基于笔画宽度变换(Stroke Width Transform)的检测图像文本的方法。该方法首先预处理输入的图像,接着按照分布规则检测图像文本区域,然后根据形态规则和笔画特征规则筛除非文本区域,最后输出检测的文本区域结果。仿真实验结果表明,该方法能够准确检测网络社交平台图像文本区域,效率较好。

征兆——与历史辉映的图像文本

1984年,《吴印咸摄影集(下册)》由黑龙江人民出版社出版。其中收录了吴印咸在1981年到1983年间拍摄的《人民大会堂》系列组照。这组摄影作品在过去的20多年里很少被提及,甚至早已被遗忘。从《人民大会堂》这组照片本身的品质来看,它更像是一种在精英方式主导下拍摄的带有教科书般的宣传图。

文学图像学视域下的武梁祠汉画像石——图像文本映照下的汉代精神世界

山东嘉祥武氏祠是我国东汉晚期一座著名的家族祠堂,其内部装饰了大量精美的汉代画像石,是我国最重要的一处画像石遗存。祠堂内部的画像石继承与发展了楚地的浪漫主义传统,将神话历史有机融合。其表现的内容上自“羲农”“黄帝”,下至汉代的各种历史人物传说,与《史记》的历史表现也有异曲同工之妙。本文试图通过将图像与文本相互比照,管中窥豹,以期探寻汉代人的精神世界。

基于生成对抗网络的文本转图像研究

近几年,生成对抗网络(Generative Adversarial Network, GAN)在文本转图像中已经取得了显著成果,但是当生成复杂图像时,一些重要的细粒度信息常常会丢失,包括图像边缘模糊、局部纹理不清晰等问题。为了解决上述问题,在堆叠式生成对抗网络(Stack GAN)基础上,该文提出一种基于深度注意力的堆叠式生成对抗网络模型(Deep Attention Stack GAN, DAS-GAN),模型第一个阶段生成图像的基本轮廓和颜色,第二个阶段部分外观和颜色的补充和校正,最后一个阶段细化图像的纹理细节。通过在CUB数据集上实验的初始得分发现,DAS-GAN相比StackGAN++和AttnGAN分别提高了0.296和0.078,从而证明了该模型的有效性。

基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明:所提算法在2个公共数据集上具有有效性。

基于多尺度卷积和注意力的文本图像超分辨率网络

场景文本图像超分辨率的作用在于提高图像中文本的清晰度,以改善文本识别的准确性。现有方法没有考虑文本图像的多尺度特征,并且没有突出对文本特征的重点关注。针对现有方法存在的问题,提出了基于多尺度卷积和注意力机制的文本图像超分辨率网络,网络使用多尺度卷积提取文本图像中的多尺度特征,使用注意力机制以增强对文本特征部分的关注。在真实场景文本图像数据集TextZoom上进行了实验,验证了网络的有效性。

融合XLnet与DMGAN的文本生成图像方法

针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能够捕获大量文本的先验知识,实现对上下文信息的深度挖掘;然后在DMGAN模型生成图像的初始阶段和图像细化阶段均加入通道注意力模块,突出重要的特征通道,进一步提升生成图像的语义一致性和空间布局合理性,以及模型的收敛速度和稳定性。实验结果表明,所提出模型在CUB数据集上生成的图像相比原DMGAN模型,IS指标提升了0.47,FID指标降低了2.78,充分说明该模型具有更好的跨模态生成能力。

基于条件语义增强的文本到图像生成

文本到图像生成取得了视觉上的优异效果,但存在细节表达不足的问题.于是提出基于条件语义增强的生成对抗模型(conditional semantic augmentation generative adversarial network,CSA-GAN).所提模型首先将文本进行编码,使用条件语义增强对其进行处理.之后,提取生成器的中间特征进行上采样,再通过两层CNN生成图像的掩码.最后将文本编码送入两个感知器处理后和掩码进行融合,充分融合图像空间特征和文本语义,以提高细节表达.为了验证所提模型的生成图像的质量,在不同的数据集上进行定量分析、定性分析.使用IS(inception score)、FID(Frechet inception distance)指标对图像清晰度,多样性和图像的自然真实程度进行定量评估.定性分析包括可视化生成的图像,消融实验分析具体模块等.结果表明:所提模型均优于近年来同类最优工作.这充分验证所提出的方法具有更优性能,同时能够优化图像生成过程中一些主体特征细节的表达.

基于自监督注意和图像特征融合的文本生成图像方法

现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取,上采样过程本质是卷积运算,卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制,但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题,提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段,利用注意机制进行图像特征之间的自主映射学习,通过特征的上下文关系引导动态注意矩阵,实现上下文挖掘和自注意学习的高度结合,提高低分辨率图像特征的生成效果,后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块,通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合,生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息,更加保证了不同分辨率特征图的语义一致性,从而实现高分辨率的逼真的图像生成。实验结果表明,相较于基准模型(AttnGAN),SAF-GAN模型在IS和FID指标上均有改善,在CUB数据集上的IS分数提升了0.31,FID指标降低了3.45;在COCO数据集上的IS分数提升了2.68,FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像,证明了该方法的有效性。

中文文本屏幕内容图像通用视频编码标准编码感知失真研究

为了探索最新一代通用视频编码标准(versatile video coding, VVC)对中文文本屏幕内容图像(text screen content image, TSCI)感知质量的影响,设计图像主观观测实验并基于VVC混合编码框架原理研究了中文TSCI的VVC编码感知失真。构建中文文本屏幕内容图像数据库(Chinese text screen content image dataset, CT-SCID),设计图像主观观测实验,分析VVC引起的中文TSCI感知失真类型及其发展路径;结合VVC的混合编码框架原理,理论分析并实验验证影响VVC编码的中文TSCI感知失真程度的因素;总结当前代表性的屏幕内容图像质量评价方法在中文TSCI VVC编码感知失真评测上的性能表现。实验结果表明:字体大小和对比度是影响中文TSCI VVC编码感知质量的重要因素,且中文TSCI的字体越小、对比度越低时,图像的感知质量等级越低;当前代表性的屏幕内容图像质量评价方法均无法给出完全符合人眼感知特性的质量评价结果。研究对于后续开发适用于中文TSCI的感知质量评价方法、高效编码方法等具有指导意义。