基于眼动追踪的历史街区意象要素视觉显著性分析——以广州永庆坊为例

历史街区城市意象要素是城市空间感知的重要内容。在原有的认知地图问卷调查基础上,以永庆坊为例,以照片和视频为媒介,利用眼动追踪技术定量分析其意象要素视觉显著性的构成特征。首先总结永庆坊认知地图之中意象要素的视觉显著物。其次利用眼动仪展开实验,收集大样本被试的眼动数据,并进行数学统计分析,以静态照片探究单一场景意象要素视觉显著性的构成机制,以动态视频探究不同场景意象要素之间的视觉显著性差异。最终获得历史街区意象要素视觉显著性的构成规律,并为其实践应用提出相关建议。

一种基于视觉显著性的码率控制算法

针对当前高效视频编码的码率控制算法未能充分确保视频显著区域的图像质量问题,提出了一种基于视觉显著性的码率控制算法。首先,采用基于图的流形排序显著检测算法获取视频的显著区域;其次,在图像编码过程中,为每个编码单元(Coding Unit,CU)建立基于视觉显著性的加权失真公式,将显著性值作为权重;最后,通过求解得到拉格朗日乘子λ,并根据原始码率控制算法中的λ与量化参数(Quantization Parameter,QP)的关系为每个CU确定QP。试验结果表明,该算法有效地根据视频内容的显著性权重实现了码率的合理分配,并在保持码率控制准确性的同时,提升了视频显著区域的图像质量。

基于视觉显著性的主动声呐背景均衡方法

针对主动声呐检测输出中的混响与辐射噪声泄漏等干扰抑制问题,提出了一种基于视觉显著性检测的背景均衡方法。首先,建立起主动声呐图像的概念,从视觉显著性统计规律上研讨其与自然图像的相似性;然后,在图像处理框架下提出一种基于二维频谱残差显著性检测的主动声呐背景均衡新方法,并引入图像熵作为均衡效果的评价依据。经海试数据验证,该方法能有效抑制混响片状干扰与辐射噪声条带状干扰,增强回波亮点,相较于常规的加权二维均值背景均衡方法图像熵值降低约2/3,运算速度提高约一个数量级。

利用显著性检测的机器视觉视频编码算法

近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。

基于视觉显著性的蒙古族传统马鞍色彩提取与设计转译

为引发大众对蒙古族传统马鞍色彩的心理认同感,将视觉显著性引入到蒙古族传统马鞍的色彩提取与创新色彩设计转译中。收集并选取具有代表性的17-20世纪蒙古族传统马鞍高清图像,运用视觉显著性检测与k-means聚类分析相结合的方法对图像进行色彩提取与分析;通过人对色彩的视觉感知层次及显著性特征构建赋色设计转译层级。以“雕花的马鞍”为题对马鞍中的纹样进行赋色方案呈现。运用此方法提取的蒙古族马鞍装饰色彩具有一定代表性;从人的视觉特性出发进行赋色,成为连接传统文化与现代创新的情感纽带,为探索传统色彩的传承和设计创新提供了新思路。

视觉显著性和稀疏学习相融合的船舶图像目标检测

为抑制船舶图像目标检测受光照变化、海浪干扰、背景杂波等因素的影响,设计视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,提升船舶图像目标检测效果。利用船舶图像建立船舶图像字典;通过稀疏表示算法结合字典,稀疏编码船舶图像;依据稀疏编码结果,在船舶图像内提取视觉显著图;通过自适应阈值法,分割视觉显著图,得到船舶目标候选区域,缩小船舶目标检测范围;在概率神经网络内,输入船舶目标候选区域,判断其是否为船舶目标,完成船舶图像目标检测。实验证明,该方法可有效稀疏编码船舶图像,并提取视觉显著图;该方法可有效分割视觉显著图;在简单背景与复杂背景下,该方法均可精准检测船舶目标。

基于SPIHT和视觉显著性检测的彩色图像水声信道传输

在学术和工程领域,如何在带宽严重受限的水声信道中获取具有一定可用性的彩色图像一直是一个备受关注的问题。文章提出了一种新的水下彩色图像传输方法,利用基于分级树集合分裂(Set Partitioning in Hierarchical Trees,SPIHT)算法的图像渐进传输和视觉显著性检测,在复杂多变、带宽严重受限的水声信道中获得可用性较好的水下彩色图像。该方法根据信噪比动态调整数据传输方案,并使用红色通道补偿来提高频域中显著性检测的准确性。然后使用SPIHT渐进传输图像,并在接收端通过导向滤波解决高降采样率引起的块效应,以获得高质量的水下图像。实验结果表明,所提出的方法在压缩水下彩色图像方面具有一定的适用性。

知觉学习中非显著性刺激视觉加工的学习机制

非显著性刺激的知觉学习研究发现成人大脑具有可塑性,但是知觉学习如何影响不同的视觉加工阶段仍不清楚。通过将眼动指标划分为3个视觉加工阶段来探究知觉学习的机制:搜索潜伏期(早期),是指从搜索屏呈现到第一次眼跳离开初始注视点位置的时间,代表了在搜索屏中选择第一个搜索位置的时间;注视点个数和平均注视时间(中期),代表搜索过程中注视加工的位置个数和平均加工时间;确定时间(后期),代表判断当前刺激是否为目标并做出反应的时间。结果发现对训练刺激的搜索正确率提高,反应时变快,同时搜索潜伏期显著增加,注视点个数和平均注视时间减少,且行为和眼动指标的变化都没有迁移至未训练刺激。说明知觉学习会影响早期和中期视觉加工阶段,可能通过增长搜索潜伏期,同时减少眼跳的次数和降低注视时间来提高搜索表现。

结合视觉显著性和EfficientNetV2的舰船目标检测方法

随着光学遥感图像分辨率逐渐提高,对海面舰船目标快速精准检测成为海事研究的基本挑战之一。为了解决检测过程中面临的待检测图像尺寸大而目标稀疏、复杂环境干扰、目标提取时效性差、模型体积计算量大等问题,提出一种实用的舰船检测方案。引入视觉显著性有效加速预筛选过程,利用小波分解系数表达舰船目标区域与背景的差异,抑制噪声的同时增强目标方向特征,通过改进的四元数傅里叶变换相位谱模型(phase spectrum of quaternion Fourier transform,PQFT)生成显著图,并采用Gini指数引导多尺度显著图融合以增强图像尺度适应性及小目标显著性。与其他显著性方法相比,提出的模型能够有效抑制云、雾、海杂波、舰船尾迹等复杂环境的干扰,与经典的滑动窗口或其他区域建议方法相比产生更小的候选区域集合。得到显著图映射后,采用自适应阈值OTSU法对显著图进行二值分割。在目标判别阶段,利用轻量化网络EfficientNetV2有效剔除虚警。实验结果表明,所提出的船舶检测方法鲁棒性高,准确率高达96%,满足实时性需求。

船舶涡轮机叶片细小裂痕视觉显著性检测研究

为精准掌握涡轮机叶片的运行状态,判断其是否需要进行更换,提出船舶涡轮机叶片细小裂痕视觉显著性检测方法。利用改进同态滤波算法平滑叶片CCD图像,增强图像的对比度以及均衡度,基于谱残差视觉注意模型提取显著图,通过线性迭代聚类算法分割获取的显著图,设定判断阈值,确定最终的船舶涡轮机叶片微小裂痕区域,完成船舶涡轮机叶片细小裂痕检测。测试结果显示,该方法具备较好的应用效果,可显著提升图像整体均匀度;显著图的提取效果较好,平均绝对误差至均在0.021以下,可靠确定船舶涡轮机叶片微小裂痕区域。

基于视觉显著性和图割的图像分割算法优化方案

图像分割是计算机视觉领域中的一个重要问题,其在图像处理、目标检测和图像理解等任务中起着关键作用。本文提出了一种基于视觉显著性与图割的图像分割算法。该算法首先使用视觉显著性模型对图像进行显著性区域检测,然后基于检测结果利用图割方法对图像进行分割。实验结果表明,该算法在分割准确性和效率方面都取得了较好的表现,可以有效地应用于实际图像处理任务中。

卷积神经网络与视觉显著性的图像融合探析

红外、可见光图像在传统融合当中主要采取手动的形式进行图像的提取,但是无论是方法还是特征都较为单一,并不能够满足当前发展需求。通过深度学习实现图像特征的自动化提取,使传统提取方法得到了丰富与创新,在此过程中要充分地利用卷积神经网络,使视觉显著性的图像融合更为全面,在条件随机场的作用下,精确分割图像,以更为显著性的方式对目标进行提取。通过研究,能够发现这种方法与传统方法相比,在主观视觉与客观评价上都具有明显的优势。

基于特征残差融合的显著性检测网络

当前的显著性检测任务得益于卷积神经网络模型的监督训练能够达到很好的效果,但是模型中的显著性特征如何有效地利用仍是一个关键的问题。不同层级的显著性特征信息融合能够达到互补的效果进而促进最终预测的效果,因此提出一个基于局部信息残差融合的网络架构。该结构是对局部范围的卷积层的特征进行残差式的融合,以此降低由于采样操作导致引入噪点的风险。再将融合的新特征图由深层递进式地传递到浅层并输出,进而获得最终的预测结果。

基于鲁棒视觉变换和多注意力的全景图像显著性检测

针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题,该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征,减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息,采用卷积嵌入的方式降低特征图的分辨率,增强模型的鲁棒性。使用多注意力模块,根据空间注意力与通道注意力间的关系,有选择地融合多维度注意力。最后逐步融合多层特征,形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明,该文所提模型因使用了鲁棒视觉变换模块和多注意力模块,其性能优于其他6种先进方法,能进一步提高全景图像显著性检测精度。

基于RPCA的轴承表面缺陷视觉显著性检测

针对轴承缺陷图像存在的光照不均匀、整体对比度低、缺陷细节模糊等问题,结合鲁棒主成分分析和视觉显著性,提出一种新的轴承表面缺陷检测算法。首先,在鲁棒主成分的基础上,采用广朗日乘子算法计算稀疏矩阵,并根据稀疏矩阵计算缺陷区域的视觉显著值,生成凸显缺陷区域的显著图,然后,利用Otsu法对显著图进行缺陷分割,得到缺陷检测结果。并进行对比实验研究,结果表明,该检测方法能够显著突出轴承表面缺陷区域,实现对轴承表面各类缺陷的有效检测,与其他几种显著性检测方法相比,具有较好的查准率和召回率。

集成多种上下文与混合交互的显著性目标检测

显著性目标检测目的是识别和分割图像中的视觉显著性目标,它是计算机视觉任务及其相关领域的重要研究内容之一。当下基于全卷积网络(FCNs)的显著性目标检测方法已经取得了不错的性能,然而现实场景中的显著性目标类型多变且尺寸不固定,这使得准确检测并完整分割出显著性目标仍然是一个巨大的挑战。为此,该文提出集成多种上下文和混合交互的显著性目标检测方法,通过利用密集上下文信息探索模块和多源特征混合交互模块来高效预测显著性目标。密集上下文信息探索模块采用空洞卷积、不对称卷积和密集引导连接渐进地捕获具有强关联性的多尺度和多感受野上下文信息,通过集成这些信息来增强每个初始多层级特征的表达能力。多源特征混合交互模块包含多种特征聚合操作,可以自适应交互来自多层级特征中的互补性信息,以生成用于准确预测显著性图的高质量特征表示。此方法在5个公共数据集上进行了性能测试,实验结果表明,该文方法在不同的评估指标下与19种基于深度学习的显著性目标检测方法相比取得优越的预测性能。

融合光流特征和显著性检测的目标跟踪算法

传统的核相关滤波(Kernel Correlation Filter,KCF)算法使用HOG特征来获取目标信息,对非刚体目标不鲁棒,容易出现目标跟踪漂移现象。提出一种融合光流特征和显著性检测的目标跟踪算法抑制跟踪的漂移。算法通过在多通道特征表达时融入光流特征,增加运动目标的位置、姿态的变化信息。同时,通过显著性检测位置对漂移目标进行重检测调节,抑制跟踪漂移,提高跟踪的准确性。实验结果表明,该算法在复杂场景中仍可以进行鲁棒的视觉目标跟踪。

基于分割增强与显著性检测的红外可见光图像融合

为保留原红外与可见光图像中更多的细节信息,解决红外与可见光图像融合过程中小目标不清晰、可见光图像可视性差等问题,提出一种将红外图像分割与增强可见光图像与视觉显著性检测相结合的融合方法。首先,迭代法将原红外图像分割成目标区域和背景区域,Retinex对原可见光图像进行强化处理,使其清晰度得到提高;然后,对红外背景区域和增强可见光图像进行二尺度分解得到基础层和细节层,针对两个图层的不同特点分别采用加权平均和显著性检测方法进行第一层融合,得到的融合基础层和融合细节层进行第二层融合;最后,与红外目标区域进行叠加运算实现三层融合,实验结果表明,该方法能够充分挖掘源图像的有效信息,在小目标清晰度方面优于其他传统算法。

相位谱提示多特征聚合的视觉显著性检测方法

针对现有深度学习视觉显著性检测模型对自下而上显著性检测能力差的问题,本文将频域分析与深度学习相结合,提出一种端到端编-解码显著性检测方法.本文首先设计了相位谱提示模块,改进编码网络浅层特征的提取,之后利用ResNet-50的残差模块进一步提取高级语义信息.为了充分利用编码网络各层中提取到的全局显著性特征与各级局部显著性特征,本文在解码端设计了自适应特征聚合模块.本文方法在自然图像数据集SALICON上达到了先进水平并且在合成图数据集SIDVAM上各项指标取得第一.实验结果表明,本文方法同时具备对自上而下以及自下而上显著性的检测能力.

多尺度视觉感知融合的显著性目标检测

显著性目标检测算法大多存在单一特征检测缺陷和多特征融合不充分等问题,从而导致显著图边缘不清晰以及背景抑制效果较差。为此,提出一种多尺度视觉感知融合的显著性目标检测方法,该方法包含多尺度视觉感知模块(MVPM)和多尺度特征融合模块(MFFM),分别用于处理显著性目标的全局信息和融合多尺度特征。基于U型网络结构,利用空洞卷积模拟视觉皮层中的感受野以构建MVPM,充分发挥空洞卷积在卷积神经网络中的作用,在主干网络中逐级提取显著性目标的全局空间信息,有效增强前景显著性区域,抑制背景噪声区域。设计MFFM,利用特征金字塔和空间注意力机制将高级语义信息与细节信息相融合,在抑制噪声传递的同时有效恢复显著性目标的空间结构信息。在ECSSD、DUTS、SOD等5个具有复杂背景信息的图像数据集上进行实验,结果表明,该方法的平均F-Measure值达到88.4%,比基准网络U-Net提高14.2个百分点,MAE值达到3.5%,比基准网络降低5.4个百分点。