一种全局信息增强的语义图像合成方法

语义图像合成是图像翻译领域一个重要的研究和应用方向,旨在利用输入的语义图像(如语义分割图、地图、线稿图等)生成与图像描述相符的真实图像。针对基于生成对抗网络(GAN)的语义图像合成任务由于缺乏全局信息导致生成图像特征模糊、纹理细节缺乏关联性的问题,基于pix2pix网络提出一种结合外部注意力机制改进的全局信息增强语义图像合成方法。首先,在U-net结构的生成器上采样阶段引入外部注意力机制,增强生成图像像素间的空间相关性;其次,在生成器上采样层使用深度残差模块,在提高生成图像质量的同时,增强生成图像的多样性;最后,鉴别器引入全局信息以增强鉴别能力。在cityscape、landscape、edges2shoes数据集上进行实验,改进后的方法相比基线模型在FID指标上分别提升了57.37、26.74和1.78。实验结果表明,该模型能够有效利用全局信息增强生成图像纹理细节的关联性,提高图像质量。

生成式人工智能的风险特征及语义图像:基于网络社区讨论的计算文本分析

生成式人工智能在带来技术突破和效率提升的同时,也在公众视野内演变成了不可见的技术风险。研究立足于技术的风险语义图像视角,采用计算文本分析的方法,结合文本主题模型、词向量模型与语义共现网络,对网络社区(知乎)中的人工智能风险讨论进行分析。研究结果显示,公众对人工智能的风险感知围绕Chat GPT在信息传播中的短期风险和人工智能在人类社会中的长期风险。从风险特征维度看,公众风险感知呈现出个体化趋势,人工智能被视为一种自愿卷入的低危害风险,但在认知上引发了公众的不确定感,个体对风险类型的识别集中在国家安全风险和个体经济风险,呈现出宏观政治与微观个体利益相结合的认知框架。公众主要采取两类应对策略,分别是以知识为中心的自我学习策略和以行业发展为中心的共同应对策略,最终形成了技术调节、技术规制、生存适应、系统共振四种风险语义图像。

语义图像检索研究进展

语义图像检索已成为解决图像简单视觉特征和用户检索丰富语义之间存在的“语义鸿沟”问题的关键 .从图像语义描述方式、图像语义抽取方法和语义检索系统设计 3个方面对语义图像检索的研究状况进行了分析和研究 ;讨论了面向对象的图像内容模型和图像语义表示问题 ;对利用系统知识的提取、根据用户交互的提取和利用外部信息源的语义生成等具有代表性的语义处理方法进行了阐述 ;介绍了系统设计中用户界面和语义处理的不同方式 ,最后从对象识别、语义抽取规则、用户检索模型和图像检索性能评价标准 4个方面剖析了实现图像语义处理所面临的困难 ,并提出了一些初步解决思路 .

一种基于SVMS的语义图像分类方法

如何跨越图像低层视觉特征到高层语义特征的"语义鸿沟"已成为语义图像检索问题的关键,首先将待分类图像分成五个区域;然后在提取图像底层特征的基础上,采用基于支持向量机组(SVMS)的方法建立图像低层视觉特征到高层语义特征之间的映射,将一幅图像同时归入一类或几类图像语义。实验结果表明,该方法具有较好的检索查全率和准确率。

实时语义图像分割模型研究

为了实现快速语义图像分割,提出一种简化整合模型.首先,对频域视觉注意模型PQFT的四元数图像虚部系数进行简化改进.然后,将改进PQFT模型的显著图与简化PCNN的内部活动项结合起来对显著目标区域进行粗略定位,并以提出的显著目标区域均值的3/2倍进行精细分割.最后,根据"尺寸变化与否"准则判断输出正确的语义图像分割结果.实验结果表明,提出的整合模型具有实时性,且取得的AUC值和F值较原PQFT模型分别提高了29.9%和44.2%.

基于公理化模糊集语义图像层次关联规则分类器

为提高语义图像分类器性能,提出一种基于公理化模糊集的语义图像层次关联规则分类器。首先,为提高算法精度,在对图像数据集进行特征提取基础上,采用公理化理论(AFS)构建图像集模糊概念的AFS属性表达,提高图像集属性辨识度;其次,为提高算法计算效率,考虑采用层次结构关联规则,构建语义图像分类器,利用概念之间的本体信息,提高并行分类能力;最后,通过对算法参数及横向对比实验,显示所提算法具有较高的计算精度和计算效率。

基于语义图像检索的关键技术

结合作者在基于内容的图像检索(CBIR)方面的研究工作,指出了基于语义的图像检索是图像检索发展的趋势。首先给出了层次化语义模型,然后介绍语义表示的方法,详细总结了三种语义提取方法:基于视觉特征的语义算法、基于关键字网络的语义算法和基于语义向量的算法。最后,阐述了相关反馈技术的应用。

基于多尺度条件随机场的语义图像分割深度卷积网络

针对复杂边界处语义分割信息在多尺度情况下表现出的不一致性,引起的现有模型产生错误语义分割标记预测问题,受到空间语境关系启发,提出一种多尺度条件随机场的深度卷积网络模型。首先,不同尺度的初始标记通过深度卷积网络获得,从而构建语义标记的多尺度表达;其次,引入多尺度表达的条件随机场模块,并在该模块上添加同层二元关系和异层二元关系,构建新的条件随机场能量评价;最后,针对模型中的深度网络参数和条件随机场参数学习过程,设计一种两阶段的训练过程,兼顾了模型的收敛速度和精度。实验给出了公认的PASCAL VOC 2012数据集的语义分割结果,能够说明该方法较现有主流方法有一定优势。

结合梯度重建和非线性处理的语义图像分割

语义图像分割是进一步图像分析与理解的重要基础,本文面向语义分割,针对传统分水岭分割算法对噪声敏感、易于产生过分割等问题,研究了一种结合梯度重建和非线性处理的图像分割方案。首先提出了基于形态学的开闭二次重建获得形态梯度图像的方法,然后对其进行阈值变换,以抑制噪声引起的明暗细节,之后进行给定尺度等级的非线性划分,以降低目标和背景内部细密纹理的影响,而后,采用了一种改进的分水岭浸没标记算法进行分割。实验结果表明,与传统算法和Matlab工具箱中算法相比,本文算法获得了更为理想的分割结果。

融合相关反馈和流形学习的语义图像检索方法研究

融合相关反馈和流形学习的图像检索方法,既可以解决基于内容图像检索的"语义鸿沟"问题,又可以解决因为用户反馈标记样例较少所导致的较难学习用户语义概念问题。深入研究近年来比较有代表性的方法,包括ARE和MMP,并在具体的系统中比较二者的性能;此外,进一步分析此类方法面临的挑战和实际应用时需迫切解决的问题。

基于MPEG-7的语义图像检索系统的研究

有效的图像检索系统必须充分利用图像的语义信息,文章采用了基于MPEG-7的图像语义的XML表示法,简要介绍了图像检索的发展状况,主要讨论了基于MPEG-7图像语义的XML描述方法以及检索系统的实现过程。经考察证实:系统通过反馈的办法对图像的标注进行调整和完善,可随着用户反馈次数的增多,系统的检索精度逐步提高。本系统有效地实现了在基于语义和基于内容2个层次的图像检索,取得了较为理想的效果,具有一定的应用价值。

基于模糊支持向量机的面向语义图像检索算法

为了缩减图像低层特征和高层语义之间的语义鸿沟,提出一种基于模糊支持向量机的面向语义图像检索(SBIR-FSVM)算法。在提取图像的低层特征的基础上,将最小隶属度模糊支持向量机引入到图像检索技术中,获取图像语义信息及消除传统支持向量机(SVM)在多类分类中产生的不可分区域,从而实现面向语义的图像检索。实验结果表明,提出的SBIR-FSVM算法与基于SVM的图像检索算法及综合多特征的基于内容的图像检索算法相比均有了显著的改进。

基于定性映射模型的语义图像检索技术研究

利用属性论方法的相关理论,在图像低层视觉特征的基础上,建立HSI颜色空间的定性映射模型,实现图像的颜色特征提取,再将颜色特征映射为图像的高层语义,实现语义图像检索的目的,并通过引入相关反馈技术,由机器来学习和积累图像的语义信息,进一步提高了图像检索的准确性。

一种压缩域特征提取与语义图像检索技术

为了解决“语义鸿沟”问题 ,通过将隐含语义索引 (L SI)技术引入到图像语义提取问题的研究中 ,试图从图像的视觉特征中抽取出“高层概念”.基于 GM(1,1)压缩域中的一种图像特征 ,提出了一种建立“图像视觉特征”与“语义信息”之间映射的技术方法 .实验研究表明 ,这种基于压缩域特征和 L SI技术的图像检索方法能显著改善图像检索的性能 。

语义图像合成的研究进展

语义图像合成是利用语义标签合成真实图像的一种技术,是合成多样化、富有创意图像的有效方法,在图像合成领域得到了广泛应用。随着深度生成模型的不断发展,更多先进的模型被用于语义图像合成。本文介绍了几种主流的语义图像合成模型,分析了不同模型的特点,提出了生成模型存在的模式崩溃问题以及两种可视化方案,最后对现有深度生成模型的应用难点与发展趋势进行了总结与展望。

博斯绘画中的非语义图像研究

非语义图像的意义是指那些附着在图像本义之上的意义。其在绘画中的图像话语系统中占有重要的位置,是理解绘画艺术内涵的重要途径。探讨语义就是对形式和叙事性进行分析和解读,而观众对非语义图像的探讨过程是图像释放意义的过程。非语义图像的叙事方式为观众想象力的延伸提供了一个途径,提升了观众对艺术作品的参与度。同时,非语义图像是承载作者思考力的信息载体,非语义图像对绘画的内涵理解以及如何提炼图像、确定主题的方法有重要作用。绘画中的非语义图像研究可以扩展绘画的阈值,为绘画增添新的延伸意义。

基于域适应的图像语义分割综述

随着深度学习技术的迅速发展,语义分割算法在性能提升的同时依赖于大规模成对图像数据及其耗时耗力的像素级标注.人工制作的合成图像以规模大、易标注的特点,替代真实图像有效降低了训练成本.然而,合成图像与真实图像的域间差异性降低了分割网络的泛化能力.针对域间差异问题,研究者提出域适应语义分割(Domain Adaptive Semantic Segmentation,DASS)算法.该算法通过提取合成图像与真实图像的跨域共享知识,减小域间差异,提升分割网络在真实图像上的泛化能力.本文根据网络结构对主流DASS算法进行分类,分析了不同算法的性能对比结果,并提出未来研究方向.研究结果表明:早期的DASS算法利用生成对抗网络对齐源域和目标域的边缘分布,但网络结构复杂,并且只能实现两域的全局对齐,无法实现不同类别之间的精细对齐,性能较低;后续算法逐渐转向自训练网络结构,利用预训练的分割网络在目标域生成伪标签,为下一轮训练提供监督,结构简单,性能表现优于早期算法;随着Transformer网络的出现,其强大的特征提取能力进一步提升了DASS算法的准确性.

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

结合语义分割图的注意力机制文本生成图像

针对生成对抗网络生成图像存在结构不完整、内容不真实、质量差的问题,提出一种结合语义分割图的注意力机制文本到图像生成模型(SSA-GAN)。首先采用一种简单有效的深度融合模块,以全局句子向量作为输入条件,在生成图像的同时,充分融合文本信息。其次结合语义分割图像,提取其边缘轮廓特征,为模型提供额外的生成和约束条件。然后采用注意力机制为模型提供细粒度词级信息,丰富所生成图像的细节。最后使用多模态相似度计算模型计算细粒度的图像-文本匹配损失,更好地训练生成器。通过CUB-200和Oxford-102 Flowers数据集测试并验证模型,结果表明:所提模型(SSA-GAN)与StackGAN、AttnGAN、DF-GAN以及RAT-GAN等模型最终生成的图像质量相比,IS指标值最高分别提升了13.7%和43.2%,FID指标值最高分别降低了34.7%和74.9%,且具有更好的可视化效果,证明了所提方法的有效性。

基于光照感知和特征增强的可见光-热红外图像语义分割

在智能光电设备中,基于人工智能的可见光-热红外(Red Greed Blue-Thermal, RGB-T)图像语义分割任务可以广泛应用于自动驾驶、无人机航拍、视频监控等。图像的光照信息能在一定程度上反映场景中图像局部区域信息的可靠性,利用光照先验信息有助于进一步提高语义分割的性能。基于此,提出一种基于光照感知和特征增强的RGB-T图像语义分割模型,通过挖掘光照先验信息并结合注意力机制,引导网络在多模态图像特征融合过程中更加关注可靠信息的提取,同时抑制干扰信息的引入。实验在MFNet数据集上与最新的12种方法进行了比较,相比于性能第2的模型,mAcc提高了5.4%,mIoU提高了1.0%。所提网络模型能够获得更准确的分割结果,并通过定性定量实验验证所提模型及各个模块的有效性。