利用显著性检测的机器视觉视频编码算法

近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。

视觉显著性和稀疏学习相融合的船舶图像目标检测

为抑制船舶图像目标检测受光照变化、海浪干扰、背景杂波等因素的影响,设计视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,提升船舶图像目标检测效果。利用船舶图像建立船舶图像字典;通过稀疏表示算法结合字典,稀疏编码船舶图像;依据稀疏编码结果,在船舶图像内提取视觉显著图;通过自适应阈值法,分割视觉显著图,得到船舶目标候选区域,缩小船舶目标检测范围;在概率神经网络内,输入船舶目标候选区域,判断其是否为船舶目标,完成船舶图像目标检测。实验证明,该方法可有效稀疏编码船舶图像,并提取视觉显著图;该方法可有效分割视觉显著图;在简单背景与复杂背景下,该方法均可精准检测船舶目标。

结合视觉显著性和EfficientNetV2的舰船目标检测方法

随着光学遥感图像分辨率逐渐提高,对海面舰船目标快速精准检测成为海事研究的基本挑战之一。为了解决检测过程中面临的待检测图像尺寸大而目标稀疏、复杂环境干扰、目标提取时效性差、模型体积计算量大等问题,提出一种实用的舰船检测方案。引入视觉显著性有效加速预筛选过程,利用小波分解系数表达舰船目标区域与背景的差异,抑制噪声的同时增强目标方向特征,通过改进的四元数傅里叶变换相位谱模型(phase spectrum of quaternion Fourier transform,PQFT)生成显著图,并采用Gini指数引导多尺度显著图融合以增强图像尺度适应性及小目标显著性。与其他显著性方法相比,提出的模型能够有效抑制云、雾、海杂波、舰船尾迹等复杂环境的干扰,与经典的滑动窗口或其他区域建议方法相比产生更小的候选区域集合。得到显著图映射后,采用自适应阈值OTSU法对显著图进行二值分割。在目标判别阶段,利用轻量化网络EfficientNetV2有效剔除虚警。实验结果表明,所提出的船舶检测方法鲁棒性高,准确率高达96%,满足实时性需求。

船舶涡轮机叶片细小裂痕视觉显著性检测研究

为精准掌握涡轮机叶片的运行状态,判断其是否需要进行更换,提出船舶涡轮机叶片细小裂痕视觉显著性检测方法。利用改进同态滤波算法平滑叶片CCD图像,增强图像的对比度以及均衡度,基于谱残差视觉注意模型提取显著图,通过线性迭代聚类算法分割获取的显著图,设定判断阈值,确定最终的船舶涡轮机叶片微小裂痕区域,完成船舶涡轮机叶片细小裂痕检测。测试结果显示,该方法具备较好的应用效果,可显著提升图像整体均匀度;显著图的提取效果较好,平均绝对误差至均在0.021以下,可靠确定船舶涡轮机叶片微小裂痕区域。

基于特征残差融合的显著性检测网络

当前的显著性检测任务得益于卷积神经网络模型的监督训练能够达到很好的效果,但是模型中的显著性特征如何有效地利用仍是一个关键的问题。不同层级的显著性特征信息融合能够达到互补的效果进而促进最终预测的效果,因此提出一个基于局部信息残差融合的网络架构。该结构是对局部范围的卷积层的特征进行残差式的融合,以此降低由于采样操作导致引入噪点的风险。再将融合的新特征图由深层递进式地传递到浅层并输出,进而获得最终的预测结果。

基于视觉显著性的海面舰船检测技术

海面舰船检测技术有着特殊的军用以及民用意义,为了在宽广且环境复杂多变的海面上快速、高效、精确地检测到舰船目标,本文提出了一种基于多特征、多尺度视觉显著性的海面舰船检测方法.该方法充分利用了四元数图像可在多个通道上同时进行操作,节省操作时间,并保证不同尺度特征之间关联性的特点;除此之外,该方法还利用人眼对不用大小的图像关注目标不同的特点对图像进行尺度大小变换以避免漏检.该方法先用顶帽算法对原图进行简单的图像预处理以抑制云层、油污的干扰;其次提取多种特征构成四元数图像进行舰船目标显著性检测;在得到显著图后利用OTSU分割算法确定舰船所在的区域,并在原图上标定、提取舰船目标.通过在多种海面情况下分别进行实验分析,实验结果表明该算法可以排除云、雾、油污等干扰,精确、快速地检测到舰船目标,真正率达96.52%,虚警率低至2.11%,相较于他显著性检测算法在舰船检测方面有明显的优势.

基于视觉显著性的太阳能电池片表面缺陷检测

现有基于机器视觉的太阳能电池片表面缺陷检测算法均是采用各种类型的数学模型来进行算法设计,为进一步提高检测准确率,从人眼仿生学角度出发,首次将人眼的视觉注意机制引入到太阳能电池片表面缺陷检测中,提出了一种基于视觉显著性的太阳能电池片表面缺陷检测算法。首先,对输入的太阳能电池片表面图像进行预处理,去除对检测有影响的噪声和栅线;其次,提出一种基于自学习特征的视觉显著性检测算法来大致定位缺陷区域;随后,提出一种视觉显著性和超像素分割相结合的算法来进一步精确定位缺陷区域;最后,通过形态学后处理得到最终检测结果。在包含多种缺陷类型的测试图像库上的主观和客观实验评估表明,该算法具有较高的检测准确率。

基于视觉显著性的无监督海面舰船检测与识别

在航天航空光学遥感舰船目标检测中,受大气、光照、云雾和海岛等海面不确定条件的影响,传统的舰船检测方法存在检测效率低和可靠性差等问题,因此,本文提出一种无监督海面舰船目标自动检测方法。该方法以视觉显著性为依据,结合多显著性检测模型快速搜索海面目标,生成显著图后对其进行粗分割,对提取的目标切片做标记并进行精细分割,利用改进的Hough变换旋转目标主轴以保证目标对Y轴的对称性;对可能检测到的厚重云层和岛屿等伪目标使用梯度方向特征进行鉴别,通过判定目标在360°范围内8个区间的梯度幅度统计值,确认舰船目标及去除伪目标。实验结果表明,该舰船检测方法能够成功提取海面上大小不同,位置随机分布的舰船目标,准确获取舰船目标的数量和位置信息,在大量真实光学遥感图像上的测试结果显示,本文方法检测准确率高于93%,通过目标鉴别处理,剔除伪目标后,虚警率可低于4%,鲁棒性较强。

基于谱残差视觉显著性的带钢表面缺陷检测

针对带钢表面缺陷检测实时性要求高,采集的图像易受光照环境影响且缺陷特征弱等因素影响,提出一种基于谱残差视觉注意模型的带钢表面缺陷在线检测算法。首先,提出改进同态滤波方法对图像预处理,去除光照不均匀的影响,改善后续的分割结果。然后,构建谱残差视觉注意模型,通过对数频谱曲线差分得到缺陷显著图像。最后,提出加权马氏距离方法对显著图像阈值化增强,并利用连通区域标记法,标记出原带钢图像的缺陷位置。对提出的算法进行了实验验证,结果显示:该算法检测速度快,单幅图像平均检测耗时仅37.6ms,满足带钢在线实时检测要求。在同一缺陷数据库与灰度投影法,多尺度Gabor边缘检测法和隐马尔可夫树模型法进行了性能对比,结果表明:本文算法对带钢常见8类缺陷类型,平均检测率达到了95.3%,且漏检率和误检率较低,有效性高于对比算法。

基于多尺度多特征视觉显著性的海面舰船检测

为了精确地检测到舰船目标,提出了一种基于多特征、多尺度视觉显著性的海面舰船目标检测方法。该方法首先利用多尺度自适应的顶帽算法抑制云层、油污的干扰,然后提取双颜色空间特征以及边缘特征构成双四元数图像进行舰船显著性检测。由于充分利用了双四元数图像,故可对多个特征尺度进行处理,并保证不同尺度特征之间关联性。该方法还利用人眼对不同用大小的图像关注目标不同的特点对图像进行上下采样以避免漏检和检测重叠。在得到显著图后利用自适应图像分割(OTSU)算法确定舰船所在的区域,并在原图上标定、提取舰船目标。在多种海面情况下进行了实验分析,结果表明:该算法可以排除多种干扰,精确地检测到舰船目标,真正率达97.73%,虚警率低至3.37%,相较于他频域显著性检测算法在舰船检测方面有明显的优势。

基于立体视觉分析的显著性区域检测算法

针对传统单目视觉显著性模型存在细节丢失,不适用于复杂场景等问题,提出一种基于立体视觉分析的显著性区域检测算法。首先,采用基于图的分割方法将图像分割成不同区域,根据颜色和视差以及空间相干性计算颜色复杂度和视差复杂度。其次,对两者进行显著性聚合,计算像素对比度从而得到区域对比度。最后,引用视差信息计算局部对比度后,进行融合归一化,获得显著图。该算法适用于背景纹理复杂的立体图像显著性区域检测,检测的显著图细节突出,边缘锐利。实验结果表明,该算法优于其他显著性算法,符合人类视觉机制,在立体图像数据集上获得了75%正确率和88%召回率。

遥感图像中基于视觉显著性的分层目标检测

针对遥感图像自动判读的应用场景,提出了一种基于视觉显著性的分层目标检测方法。该方法对于每一个特征定义一个偏好函数,并定义一个将各偏好函数计算的多个视觉显著性图像合成为一个视觉显著性图像的合成偏好函数。首先对低分辨率目标图像分别使用各偏好函数计算对应特征的视觉显著性图像;然后使用合成偏好函数计算合成的视觉显著性图像;最后定位出合成偏好函数取得最大值的区域,并将其作为最有可能包含目标的候选区域。这三个步骤在定位出的候选区域对应更高分辨率的图像上反复进行,直到待检测目标被发现或者被确定不存在为止。实验结果证明,该方法能够尽早地略过那些不包含目标的区域,与传统的目标检测方法相比,具有更好的检测效果和更少的计算量。

视觉显著性检测:一种融合长期和短期特征的信息论算法

针对传统视觉显著性检测算法单纯使用当前观测图像的信息或是先验知识的不足,该文引入了长期特征和短期特征的概念,分别代表先验知识和当前观测图像的信息,并提出了一种基于信息论的算法将它们融合。首先,分别根据人眼跟踪数据和当前观测图像的内容来训练长期和短期稀疏词典并对图像进行稀疏编码,将得到的稀疏编码作为长期和短期特征。其次,针对现有算法只能在整幅图像上或是在一个固定大小的局部邻域内进行统计的缺陷,该文提出一种基于信息熵的特征概率分布估计方法,该方法可以根据当前观测图像的具体情况自适应地选择一个最佳的区域大小来计算长期和短期特征出现的概率。最后,利用香农自信息来输出图像的显著性检测结果。同8种流行算法在公开的人眼跟踪测试库上进行的主观和定量的实验对比证明了该文算法的有效性。

基于PCA模式和颜色特征的钢轨表面缺陷视觉显著性检测

针对现有机器视觉缺陷检测方法存在缺陷显著性不明显、鲁棒性较弱等问题,提出一种主成分分析(PCA)模式和颜色特征相融合的钢轨表面缺陷视觉显著性检测方法。为解决传统模式特征计算效率低的问题,对PCA模式特征进行改进。利用缺陷图块的颜色特征与锈迹、斑痕等普通图块的差别较大这一特点,对钢轨表面缺陷进行显著性检测。试验结果表明,该方法可以处理不同形状的轧疤、轧痕类缺陷,缺陷显著性效果较好,能准确地显示缺陷形状、位置等信息。

应用视觉显著性的小提花织物疵点检测

为实现小提花织物的疵点检测,提出了一种基于视觉显著性的疵点定位与分割方法。针对小提花织物的花型具有周期性的特点,通过对织物图像进行快速傅里叶变换和形态滤波来抑制正常花纹的显著性,突出疵点区域的显著性,以获取图像的全局显著图;然后使用基于图论的视觉显著模型来计算图像的局部显著图,并对全局和局部显著图进行合并生成综合显著图;最后使用最大熵法对综合显著图进行分割,以得到疵点目标。实验结果表明,在对横裆、破洞、断头、打结和跳花等5种瑕疵进行测试时,该方法的正确率高达93.5%,非常适合于对小提花织物进行疵点检测。

基于视觉显著性的平纹织物疵点检测

受检测环境及疵点特点影响,传统的检测算法难以满足疵点动态检测,为此,提出基于视觉显著性疵点动态检测的新方法。先将采集的图像进行特征提取形成特征图,再对特征图进行小波多层分解形成特征子图;在此基础上,对分解后的特征子图进行中央周边操作构建特征差分子图;然后,通过特征差分子图的融合策略形成显著图;最后,采用阀值法分割出兴趣区,并通过区域生长分割出疵点目标。结果表明,该方法能够完整检测出平纹织物疵点信息,并且具有较强的抗干扰能力。

自然场景图像中基于视觉显著性的文本区域检测

从自然场景图像中抽取文本信息有利于场景图像的内容分析.文中根据图像中文本通常在局部区域具有显著性的特点,提出多尺度包围盒视觉显著性模型,并利用该模型设计一种可以融合边缘和纹理信息的候选文本检测方法.首先在Lab颜色空间构造基于边缘和纹理信息的图像同质性,并利用它将图像映射到同质性空间;然后根据多尺度包围盒视觉显著性模型求Lab颜色空间的同质性均值图像;最后求同质映射图像与同质性均值图像的加权欧氏距离,将其作为显著性度量,以提取文本区域.自然场景图像的实验表明:与单纯利用边缘检测或同质性映射进行文本检测的方法相比,文中提出的方法能够更好地抑制背景的干扰,这有利于进一步将文本区域与背景剥离,进行更精确的文本定位.

基于生物视觉特征和视觉心理学的视频显著性检测算法

提出了一种空域和时域相结合的视频显著性检测算法.对单帧图像,受视觉皮层层次化感知特性和Gestalt视觉心理学的启发,提出了一种层次化的静态显著图检测方法.在底层,通过符合生物视觉特性的特征图像(双对立颜色特征及亮度特征图像)的非线性简化模型来合成特征图像,形成多个候选显著区域;在中层,根据矩阵的最小Frobenius-范数(F-范数)性质选取竞争力最强的候选显著区域作为局部显著区域;在高层,利用Gestalt视觉心理学的核心理论,对在中层得到的局部显著区域进行整合,得到具有整体感知的空域显著图.对序列帧图像,基于运动目标在位置、运动幅度和运动方向一致性的假设,对Lucas-Kanade算法检测出的光流点进行二分类,排除噪声点的干扰,并利用光流点的运动幅度来衡量运动目标运动显著性.最后,基于人类视觉对动态信息与静态信息敏感度的差异提出了一种空域和时域显著图融合的通用模型.实验结果表明,该方法能够抑制视频背景中的噪声并且解决了运动目标稀疏等问题,能够较好地从复杂场景中检测出视频中的显著区域.

显著性目标检测中的视觉特征及融合

显著性目标检测,在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一步,有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到,多数检测方法是采用视觉特征来检测的,视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征,对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合,然后将颜色特征与其他特征进行比较,并从中选择较优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-OMON上进行了实验,从PR曲线、F-Measure方法、MAE绝对误差三个方面进行了定量比较,检测出的综合效果优于其他算法。通过对不同视觉特征的比较和融合,表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。

基于视觉注意机制的遥感图像显著性目标检测

显著性目标检测是遥感图像处理的重要研究领域,传统的方法通过逐个像素点的计算来实现目标检测,难以满足遥感图像大面积实时处理的要求。将视觉注意机制应用到遥感图像的显著性目标检测中,在训练阶段,将所有的目标融合成目标类,所有的背景融合成背景类,目标类的显著性均值与背景类的显著性均值的比值得到一个权重向量;在检测阶段,所有的特征图乘以权重向量得到自顶向下的显著性图;自顶向下和自底向上的显著性图融合生成全局显著性图。实验结果表明当目标和背景不是总成对出现时,该方法的检测结果优于Navalpakkam模型和Frintrop模型的检测结果。