融合视觉显著性的红外航拍行人检测

目标检测是计算机视觉的基本任务之一,无人机搭载红外相机为夜间侦察、监视等提供便利。针对红外航拍场景检测目标小、图像纹理信息少、对比度弱以及红外目标检测中传统算法精度有限,深度算法依赖算力及功耗不友好等问题,提出了一种融合显著图的红外航拍场景行人检测方法。首先,采用U2-Net从原始热红外图像中提取显著图对原始图像进行增强;其次分析了像素级加权融合和图像通道替换融合两种方式的影响;再次,重聚类先验框,以提高算法对航拍目标场景的适应性。实验结果表明:像素级视觉显著性加权融合效果更优,对典型YOLOv3、YOLOv3-tiny和YOLOv4-tiny平均精度分别提升了6.5%、7.6%和6.2%,表明所设计的融合视觉显著性方法的有效性。

采用特征优化和引导的显著目标检测研究

针对目前深度图存在对比度不明显和预测图边界模糊等问题,提出了一种新型显著目标检测网络模型。该模型包括特征优化模块和特征引导模块。为了降低低质量深度图的负面影响,并精确地突出显著目标,在特征优化模块对深度图的各层特征进行混合注意力计算并进行双向融合。为解决边界模糊问题,在特征引导模块利用引导融合的方式引入低层特征来精细化目标边界。在解码阶段,引入不增加模型参数的权值计算方法,计算RGB特征和深度特征对最终预测的贡献比重。通过与近年来十二种先进方法进行的对比实验表明,所提算法模型在NJU2K、NLPR、DES、SIP、STERE和LFSD测试数据集上具有更优秀的检测性能,其中在SIP数据集上,提出的模型与第二名相比,最大F值提升了1.3%,平均F值提升了1%,E-measure提升了1.7%,S-measure提升了1.5%,消融实验证明了所提模块的有效性。

基于显著特征分类的立体图像重定向方法

现有立体图像重定向方法对不同特征图像均采用相同的策略进行重定向操作,导致一些立体重定向图像出现信息丢失、形变扭曲或深度改变的情况。影响立体图像重定向结果质量的因素主要包括显著区域形状和可视深度的改变等。为了解决这些问题,提出一种基于图像显著特征分类的立体图像重定向方法,将图像分为无显著及有显著2类图像,结合立体智能剪裁方法及立体非均匀映射方法对不同特征图像采用不同的重定向策略以减少信息丢失及几何失真。通过利用显著区域与非显著区域的深度信息差异可以更好地保持显著图像的深度感。实验结果表明,提出方法在主观对比及客观指标评价中均取得了优于其他算法的效果。

基于增强视觉质量的图像感兴趣区域检测研究

为了快速准确在立体图像中检测感兴趣区域,提出结合视觉感知特性的立体图像感兴趣区域检测方法。分析人眼视觉敏感度以及视觉暂留等多个重要视觉特性,通过时空域联合分析受损立体图像,改进视点合成,有效抑制合成失真,增强立体图像视觉质量。将眼动仪数据以及实验标记获取的立体图像数据作为人工神经网络的输入样本,训练更加符合人类视觉特性的先验模型,将全部特征融合处理形成显著图。在显著图的基础上定位感兴趣区域,实现立体图像感兴趣区域检测。经实验测试结果证明,所提方法可以有效提升检测结果的准确性,同时能够有效降低检测时间。

基于边界框标注的弱监督显著性目标检测算法

针对以往的弱监督显著性目标检测算法存在的显著目标定位不准确问题,提出一种基于边界框标注的弱监督显著目标检测算法。所提算法利用图像中所有目标的最小外接矩形框,即边界框,作为监督信息。首先基于边界框标注和GrabCut算法生成初始显著图;然后在此基础上设计了一个缺失修正模块,以得到优化后的显著图;最后结合传统方法和深度学习方法各自的优势,将优化后的显著图作为伪真值,通过神经网络学习一个显著性目标检测模型。在4个公开数据集上与6种无监督、4种弱监督的显著性检测算法进行比较的实验结果显示,所提算法在所有数据集上的最大F度量值(Max-F)和平均绝对误差(MAE)均明显优于对比算法:与同样基于边界框标注的弱监督方法SBB(Saliency Bounding Boxes)相比,所提算法的标注方法更简单,在ECSSD、DUTS-TE、HKU-IS、DUT-OMRON等4个数据集上进行实验,Max-F分别提高了1.82%、4.00%、1.27%和5.33%,MAE分别降低了13.89%、15.07%、8.77%和13.33%。可见,所提算法是一种具有良好检测性能的弱监督显著目标检测算法。

跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测

RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文提出了一种跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测方法.首先,本文以Swin-Transformer为特征提取器,分别对RGB模态与深度图模态进行特征提取,并通过跨模态注意力增强特征模块对两种模态特征进行融合以挖掘显著物的共性与互补特征.接着将提出的相邻多尺度特征增强模块嵌入编码器深层,以获得丰富的全局上下文特征信息,更精准地定位显著物的位置.然后通过构建一个边界特征提取解码器(U-Net架构)生成显著物的边界线索图,并重复采用跨模态融合特征确保生成显著物边界的完整性.最后,本文设计了一个边界可变形卷积引导模块,使用边界线索图与可变形卷积引导跨模态融合特征进行解码以得到更加准确的显著图.通过在6个公开基准数据集上与25种主流方法相比较,本文所提模型在多个指标上均有较明显的提升,从而证明了本文方法的有效性.

3分支多层次Transformer特征交互的RGB–D显著性目标检测

RGB深度图像(RGB–D)显著性目标检测是计算机视觉领域的研究任务之一,很多模型在简单场景下取得了较好的检测效果,却无法有效地处理多目标、深度图质量低下及显著性目标色彩与背景相似等复杂场景。因此,本文提出一种3分支多层次Transformer特征交互的RGB–D显著性目标检测模型。首先,提出一个跨模态坐标注意力模块,该模块通过采用坐标注意力抑制RGB图像和深度图的噪声信息,从而提取出更为显著的特征信息用于后续解码。其次,通过特征融合模块将高层的3层特征图调整到相同的分辨率送入Transformer层,有效地获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后,提出一个多层次特征交互模块,该模块有效地聚合多层次信息进行特征交互,从而能够更精准地定位显著性目标的位置,同时对显著性目标的边界进行细化。最后,设计一个密集扩张特征细化模块,利用密集扩张卷积获取丰富的多尺度特征,有效地应对显著性目标数量和尺寸变化。将模型在5个公开的基准数据集上与19种主流模型相比,实验结果表明:本文方法在多个测评指标上有较好的提升效果,提高了在特定复杂场景下的检测精度;从P–R(precision–recall)曲线、F–measure曲线和显著图也可以直观看出,本文方法取得了较好的检测结果,生成的显著图更完整、清晰,相比其他模型更加接近真值图。

利用多尺度频域分析的图像显著区域检测

针对显著区域检测中的视觉显著性度量问题,提出了一种通过对图像的频域特征进行多尺度分析来计算显著性的方法.在多个尺度上提取图像底层特征,在频域分析各种特征图的幅度谱和相位谱,在空间域上构造相应的显著图.根据显著图,检测出图像中的显著区域.在多种自然图像和人工图像上进行实验.实验结果表明,该方法能迅速检测出与人类视觉注意结果一致的显著区域,并且在高强度噪声图像中也能取得很好的检测效果.

结合高斯多尺度变换和颜色复杂度计算的显著区域检测

提出一种结合全局和局部对比度的数据驱动自底向上的视觉计算模型,采用高斯多尺度变换和颜色复杂度计算相结合的方法检测图像的显著区域。图像经过高斯金子塔多尺度变换后,用改进的冗余计算方法,在频域中消除全局冗余信息,初步将大范围的目标从周围环境中分离出来,并均匀地突显目标,利用多尺度特征子图点对点平方融合使全局显著区域显著度进一步增强,背景冗余信息进一步得到消弱;同时采用改进的像素颜色复杂度计算方法得到局部显著图,最后用最大类间方差法(Ostu)分割出图像中的显著区域。在多种自然图像上进行实验,实验结果表明,该方法能迅速检测出与人类视觉结果一致的显著区域。

基于显著图的SIFT特征检测与匹配

基于尺度不变特征变换(SIFT)特征的图像匹配存在特征点数量大、运算时间长等问题。为此,引入视觉注意机制,提出一种基于显著图的SIFT特征检测与匹配方法。比较常用的显著图计算模型,选择谱残差方法提取图片的显著图。对显著图进行二值化和形态学等处理,得到规则合理的显著区域。在显著区域内提取SIFT特征,生成特征向量,进行图像匹配。实验结果表明,该方法能提高运算效率,并且得到的SIFT特征更加稳定。

基于HSV空间改进的多尺度显著性检测

图像显著性特征已被广泛地应用于图像分割、图像检索和图像压缩等领域,针对传统算法耗时较长,易受噪声影响等问题,提出了一种基于HSV色彩空间改进的多尺度显著性检测方法。该方法选择HSV色彩空间的色调、饱和度和亮度作为视觉特征,先通过高斯金字塔分解获得三种尺度的图像序列,然后使用改进的SR算法从三种尺度的图像序列中提出每个特征图,最后将这些特征图进行点对点的平方融合和线性融合。与其它算法的对比实验表明,该方法具有较好的检测效果和鲁棒性,能够较快速地检测出图像的显著性区域,能够突显整个显著性目标。

基于空时显著性感知的运动目标检测方法

从视觉系统生理结构出发,对Itti视觉注意力模型进行了改进,融入运动特征,提出了一种基于视觉空时显著性感知的运动目标检测方法。首先提取图像的空间特征,形成空间显著图;然后利用相邻帧图像的全局运动、局部运动和相对运动,确定运动目标与背景的运动差异,形成运动显著图,并且对各显著区的空间特征和运动特征进行融合形成空时显著图,检测出运动目标。理论分析和实验结果表明,该方法能快速、准确地发现目标,减少目标的截获时间,提高目标跟踪性能。

植株点云超体聚类分割方法

针对传统的超体聚类分割对植株存在过分割率高、实时性差的问题,提出一种融合显著性特征图的超体聚类分割方法。首先,采用Kinect V2实时获取目标植株的彩色图像和深度图像,将RGB彩色空间图像转换为CIELab彩色空间图像,计算每个像素的显著性特征值,获取彩色特征图,并融合亮度特征图和方向特征图构建显著性特征图;然后,将显著性特征图和深度图像同步对齐,获得显著性点云,八叉树网格初始化点云,并通过Mean-Shift算法获取满足概率密度阈值的网格点云,取最大概率密度点作为种子点,基于点对之间的欧氏距离和特征相似度作为区域生长相似性准则,生成超体素块;最后,通过LCCP算法对显著性点云进行聚类分割。实验结果表明,改进的显著性超体聚类分割方法可以大幅提高目标前景分割的准确性和快速性,有效克服背景噪声和离群点。

基于频域与空间域分析的显著区域检测算法

显著区域检测对于多种计算机视觉应用有所帮助,如图像分割、目标识别、图像检索及自适应压缩。为此,提出一个基于频域与空间域分析的显著区域检测算法。通过拥有不同尺寸窗口的中值滤波器对不显著的区域进行抑制,根据空间信息选择最佳的显著图。与5个经典算法的比较实验结果表明,利用该算法得到的显著图既去除了背景,又突出了整个显著物体。

基于RTM的自主服务机器人智能化分散控制

为提高智能服务机器人的服务质量及智能化水平,基于机器人技术中间件(robot technology middleware,RTM),对室内环境下的机器人定点物体传送任务及其相关技术进行了深入研究.首先,为了提高系统的稳定性及开发效率,建立功能模块集,并结合模糊树图与DS(Dempster-Shafer)证据理论实现模块的粒度划分;对于机器人定点物体传送过程中所面临的即时定位与地图创建问题,采用Rao-Blackwellized粒子滤波算法完成底层栅格地图的创建,进而构造动态精简式混合地图,并利用记忆循迹规则实现机器人定点导航;通过改进的显著性区域提取算法实现对空间物体坐标的提取,并利用智能机械臂平台完成对物体的抓取及传送任务.以机器人移动平台和UR5机械臂为基础对设计系统进行实际测试,结果验证了所提分散控制方法的有效性和可行性.

基于视觉注意机制的彩色图像分割

提出一种基于视觉注意机制的彩色图像分割方法。受生物学启发,该方法模仿人类自下而上的视觉选择性注意过程,提取图像的底层特征,构造相应的显著图。根据显著图,检测出图像中的显著区域;将显著区域和背景分离,即得到图像分割结果。在多幅自然图像上进行实验,结果表明,该方法能够取得与人类视觉系统一致的分割结果。

基于改进ITTI模型及粒子群优化算法的白细胞区域提取

白细胞显微图像病理分析中,人眼关注的白细胞是感兴趣的区域。ITTI视觉模型是提取图像感兴趣区域(ROI)的有效办法。为了进一步改善其提取的准确性,提出了基于改进的ITTI视觉模型与粒子群优化算法相结合的目标控制方法,并将其应用于医学骨髓细胞图像中的白细胞区域提取。首先利用高斯滤波和多尺度归一化的方法分别提取原始图像的方向、亮度、颜色显著性特征,再根据人眼的视觉对不同显著性特征敏感程度不同的特性对3种显著性特征采用自适应系数相融合的方式得到显著图,最后利用基于改进的粒子群优化算法的Otsu法对显著图进行ROI的提取,并采用数字形态学的方法对其进行后续处理。结果表明,本文算法可以较好地提取完整的白细胞区域,有助于提高病理分析的效率。

一种图像的显著区域提取方法

本文提出一种新的图像显著区域提取方法,分别提取原始图像的亮度、颜色、方向三个特征,并将三个特征的多尺度图像特征合并成一幅总的显著图;其中,在图像颜色特征提取中融入图像的频域特征,简化了算法的复杂度及实现难度,在图像方向特征提取中应用新的特征函数,使得方向特征图更加完善。实验结果显示本文方法相比较Itti算法显著图更为明显且易于实现,在图像目标重定位应用中图像形变少,效果更好。

视觉选择性注意计算模型

提出一种用于智能机器人的视觉注意计算模型.受生物学启发,该模型模仿人类自下而上和自上而下两种视觉选择性注意过程.通过提取输入图像的多尺度下的多个底层特征,在频域分析各特征图的幅度谱,在空域构造相应的特征显著图.根据显著图,计算出注意焦点的位置和注意区域的大小,结合给定的任务在各注意焦点之间进行视觉转移.在多幅自然图像上进行实验,并给出相应的实验结果、定性和定量分析.实验结果与人类视觉注意结果一致,表明该计算模型在注意效果、运算速度等方面有效.

融合空时显著性的运动目标检测方法

针对视频中显著性的运动目标检测问题,为解决显著性在运动目标检测中存在空时显著性简单融合和忽略时间显著性的问题,提出一种用人类视觉特性的运动目标检测方法。改进方法以提取的图像空间特征为基础,生成空间显著图,利用核密度估计,计算时间显著图;对空间显著性和时间显著性进行所占权重的计算,根据所计算的权值进行空间、时间显著图融合,生成空时显著图,得到检测出的运动目标。实验结果表明,改进方法能准确、快速地检测出运动目标,减少计算时间,提高检测目标的准确率。