改进RHGSO-FC算法的RGB-D图像GMM聚类分割

随着低成本深度图像传感器的引入,在RGB-D图像中进行可靠的图像分割是计算机视觉的一个目标,而如何对杂乱的场景进行图像分割具有挑战性。基于随机亨利气体溶解度优化算法的模糊聚类(RHGSO-FC),提出一种新的RGB-D图像分割方法。对亨利气体溶解度优化算法(HGSO)进行改进,提出改进的亨利气体溶解度优化算法(LRHGSO),并利用基于改进亨利气体溶解度优化算法的核模糊聚类(LRHGSO-KFC)生成初始化标签。将初始化标签传入到高斯混合(GMM)聚类中,得到多个聚类结果。最后对这些聚类结果通过聚集超像素方法进行分割合并,得到最终分割结果。实验数据集采用NYU depth V2室内图像,与现有的一些分割方法:阈值分割算法、硬C-均值、模糊C-均值、高斯混合聚类、核模糊聚类、模糊子空间聚类、混沌Kbest引力搜索算法和随机亨利气体溶解度优化算法进行比较,结果表明提出的RGB-D分割算法优于其他比较的算法。

基于级联解码与边缘感知的RGB-D图像语义分割算法

随着深度传感器技术的发展,由于其采样得到的深度图像含有场景的空间几何信息,有助于提升语义分割精度,因此RGB-D图像的语义分割受到了广泛关注,然而现有的基于编码器-解码器架构的双流RGB-D语义分割网络仍存在分割不够精细和边缘区域分割精度低的问题。针对上述问题,论文提出了一种基于级联解码与边缘感知的RGB-D语义分割方法。首先设计了级联解码器,采用自顶向下的解码方式逐级整合多尺度信息,细化分割结果;随后将边缘检测任务以多任务学习的方式引入RGB-D语义分割中,增大卷积神经网络所提特征对边缘像素的关注度,提升分割边缘的精度。在NYUDv2数据集上的实验结果表明,所提出的语义分割方法优于其他对比方法。

改进黑猩猩优化算法的RGB-D图像核模糊聚类分割

借助于低成本深度传感器,产生了深度与颜色同步的RGB-D图像。针对RGB-D图像分割困难以及黑猩猩优化算法精度低、收敛速度慢和易陷入局部最优的问题,提出了基于改进黑猩猩优化算法(Improved Chimp Optimization Algorithm,IChOA)的RGB-D图像核模糊聚类算法。首先,对RGB-D图像进行特征提取生成6个特征子集;其次,引入Levy飞行策略和非线性惯性权重对ChOA进行改造;最后,利用IChOA对6个特征子集进行核模糊聚类,得到多个最优聚类,然后通过聚集超像素方法对多个最优聚类进行不同组合的分割,生成最终的分割结果。采用NYU depth V2室内图像数据集进行实验,与现有的一些分割方法(阈值分割,模糊子空间聚类,残差驱动的模糊C-均值,硬C-均值,模糊C-均值,核模糊聚类,基于混沌kbest引力搜索算法和随机亨利溶解度优化算法)进行比较,结果表明所提出的RGB-D分割算法优于比较的算法。

基于贝叶斯框架融合的RGB-D图像显著性检测

为了有效融合RGB图像颜色信息和Depth图像深度信息,提出一种基于贝叶斯框架融合的RGB-D图像显著性检测方法.通过分析3D显著性在RGB图像和Depth图像分布的情况,采用类条件互信息熵(Class-conditional mutual information, CMI)度量由深层卷积神经网络提取的颜色特征和深度特征的相关性,依据贝叶斯定理得到RGB-D图像显著性后验概率.假设颜色特征和深度特征符合高斯分布,基于DMNB (Discriminative mixed-membership naive Bayes)生成模型进行显著性检测建模,其模型参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集NLPR和NJU-DS2000上测试,实验结果表明提出的方法具有更高的准确率和召回率.

基于RGB-D图像的物体识别方法

物体识别是机器视觉研究的主要内容之一,融合物体深度特征的RGB-D图像为物体识别精度的提高提供了新的解决途径。为系统总结其近年产生的诸多成果,首先综述了基于RGB-D图像的物体识别研究,讨论了结合深度图像的RGB-D图像应用于物体识别的优势;其次,从公开的RGB-D数据库样本特征分析出发,归纳和分析了早期的基于先验知识的手工特征识别方法和目前的基于特征学习的RGB-D物体识别,并详细论述了RGB-D数据的多模态融合方法;最后,基于华盛顿RGB-D object dataset对20余种模型与编码组合方式的识别结果进行了系统的对比和分析,并对RGB-D物体识别的趋势及未来研究方向进行了展望。

基于结构森林的RGB-D图像轮廓提取

为了获取更加清晰、更多细节的轮廓特征,充分利用Kinect传感器获取的RGB-D图像信息,将结构化的随机森林作为分类器,提出一种更加精确的轮廓提取器。首先,将RGB-D图像的多种信息利用数学公式表示出来;然后利用BSD500数据集以及NYU深度数据集训练结构化的随机森林算法,核心是将给定节点的结构化标签映射到一组离散标签;最后,利用该随机森林算法对RGB-D图像信息进行分类,得到图像轮廓。针对细节不同的四种场景图像进行对比实验,结果表明,经改进后的算法得到的轮廓效果更加清晰、准确。

基于ANNet网络的RGB-D图像的目标检测

由于深度图像采集设备的广泛使用,使得利用RGB-D图像进行目标检测成为计算机视觉领域研究热点。为了使得利用卷积神经网络所提取的特征更具有鲁棒性,设计了一种改进的卷积神经网络(本文称为ANNet),以提高检测准确率。为了提高卷积层中局部感受区域的模型分辨能力,针对AlexN et网络中卷积层中卷积核与下层数据块的线性特性,将部分卷积层改进为带有多层感知机的非线性卷积层。在NYUD2数据集上实验,结果表明,使用改进后的网络结构,在彩色图像上的检测结果提升了3%,在RGB-D图像上的检测结果提升了4%。

基于RGB-D图像的手势识别方法

针对静态手势,提出一种基于形状特征的手势识别方法。使用深度信息与肤色信息相结合的方法,分割出手势区域;对分割后的手势进行卷积和阈值化处理,得到手指部分的图像信息,根据手掌质心和手指质心准确判断手的方向,保证手的旋转不变性;在极坐标下,结合手指特征能够准确得到每个手指的具体角度和弯曲状态,判断出左右手。对比实验结果表明,该方法对手势的判别和左右手判别具有更高的性能、更强的鲁棒性。

单幅RGB-D图像本征图像交互分解算法

为使分解结果可保留光照的空间变化性,获取较为准确的本征图像分解结果,提出一种单幅RGB-D图像本征图像交互分解算法.首先提出了一个包含远距离光照项、近距离光照项和材质项3个本征属性部分的本征图像模型,以模拟光照的空间变化性;之后利用球面调和函数估计场景远距离光源分布,为提高分解的准确性,将恢复的光照分布作为先验约束,设计能量函数求解远距离光照项;最后通过用户交互指定部分材质相同但光照条件不同的像素,并设计算法将用户交互约束传递至全图,从而实现对于场景材质图像及近距离光照图像的求解.实验结果证明,该算法是有效的.

基于RGB-D图像核描述子的物体识别方法

针对传统的颜色-深度(RGB-D)图像物体识别的方法所存在的图像特征学习不全面、特征编码鲁棒性不够等问题,提出了基于核描述子局部约束线性编码(KD-LLC)的RGB-D图像物体识别方法。首先,在图像块间匹配核函数基础上,应用核主成分分析法提取RGB-D图像的3D形状、尺寸、边缘、颜色等多个互补性核描述子;然后,分别对它们进行LLC编码及空间池化处理以形成相应的图像编码向量;最后,把这些图像编码向量融合成具有鲁棒性、区分性的图像表示。基于RGB-D数据集的仿真实验结果表明,作为一种基于人工设计特征的RGB-D图像物体识别方法,由于所提算法综合利用深度图像和RGB图像的多方面特征,而且对传统深度核描述子的采样点选取和紧凑基向量的计算这两方面进行了改进,使得物体类别识别率达到86.8%,实体识别率达到92.7%,比其他同类方法具有更高的识别准确率。

基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。

基于RGB-D图像的头部姿态检测

在经颅磁刺激治疗过程中,准确且快速地检测人体头部姿态至关重要。针对基于二维彩色图像的头部姿态估计对环境、姿态敏感的问题,文中提出了一种联合彩色图像与深度图像的头部姿态检测方法。通过彩色图像检测人脸特征点的二维位置信息,结合深度信息定义三维头部坐标系;然后在现有的ICP点云配准算法的基础上,提出了一种粗配准方法。通过计算待检测头部点云与标准头部点云之间坐标系的变换关系得到初始位姿参数,以防止点云配准陷入局部最优局面。实验表明,该算法能够在光源均匀且充足的诊疗室环境中准确地检测人体头部姿态,提高头部姿态角度大时姿态估计的鲁棒性。

多分支主干监督网络下的RGB-D图像显著性检测

针对现有的RGB-D图像显著性检测技术难以充分挖掘深度图像的有效信息,无法使RGB特征和深度特征有效融合的问题,提出了一种多分支主干监督网络下的RGB-D图像显著性检测方法。基于Resnet50网络获得两种图像的各层特征,利用深度改进模块从通道和空间注意力的角度提取到有用的深度特征信息。利用特征分组监督融合模块,依据卷积神经网络的理论,对RGB和深度特征从高层到底层分组进行多尺度多模态特征融合,每组融合加入上层融合结果和真值图进行监督,最终迭代得到预测显著图。通过4个具有代表性数据集上进行的实验,对比目前先进的RGB-D图像显著性检测,表明此模型平均绝对误差指标最小,在F值、E值和S值指标上均有提高,性能优于其他模型,具有良好的鲁棒性。

基于大数据和RGB-D图像的虚拟实验室场景三维重建

为了提高虚拟实验室场景三维重建能力,提出基于大数据和RGB-D图像的虚拟实验室场景三维重建方法.采用大数据算法建立虚拟实验室场景三维图像采集模型,提取虚拟实验室场景三维内部结构特征并进行融合处理.先通过RGB-D图像分解方法,进行虚拟实验室场景的信息跟踪和模糊度重建.然后结合虚拟现实视景重建技术,进行虚拟实验室场景拟合和透射特征分析,重建虚拟实验室RGB-D特征分解和像素特征,实现虚拟实验室场景的三维重构.仿真结果表明,采用该方法进行虚拟实验室场景三维重构的精度较高,三维重建后的输出精度较高,信息融合度较好.

基于RGB-D图像的航空托运行李测量方法

针对机场托运行李码垛自动化流程中行李形位测量精度不高的问题,提出了一种基于RGB-D图像的航空托运行李形位测量方法。首先利用相机内参从RGB-D图像中解析出行李的图像和点云数据,通过聚类和透视变换等手段提取出行李主体的三维点云和二维图像数据;然后根据提取所得行李图像和点云数据对行李旋转角度进行测量,并以包围盒包围质量为依据,选择最优旋转角度进行行李尺寸测量。实验结果表明,综合利用RGB-D中的行李图像和点云信息对行李进行形位测量能有效提升测量精度,与单纯使用点云进行测量相比,行李尺寸测量平均误差下降了21.11%,行李位置测量平均误差下降了11.80%,旋转角度测量平均误差下降了6.09%,实现了航空托运行李的高精度测量,满足了行李码垛自动化流程对行李测量环节的要求。

基于稀疏联结卷积递归神经网络的RGB-D图像识别算法

RGB-D传感器能够同时获取图像的彩色信息和深度信息,深度信息的引入有效提高了图像分类的精度。文章提出了一种基于稀疏联结卷积神经网络的RGB-D图像目标识别方法。该方法以卷积递归神经网络(convolutional and recursive neural networks,CNN-RNN)深度学习网络为基础,利用一种尺度归一化方法对图像进行处理,并且对CNN滤波器层进行改进;在CNN滤波器层,通过加速稳健特征(speeded up robust features,SURF)算子得到归一化图像中特征点的位置;然后以特征点为中心选取图像块,对所有训练图像的图像块进行训练,从而获取CNN滤波器组层的卷积核;以归一化图像的SURF点为中心确定滤波器层在图像的感受野,所得感受野与卷积核形成局部联结网络,构成了CNN的滤波器组层。实验结果表明,该方法有效地提高了图像的识别精度,具有较强的鲁棒性。

背景与前景融合的RGB-D图像显著性检测

RGB-D图像显著性检测是指在传统的2D图像中附加深度信息从而提取显著对象,但是现有的显著性检测模型,大多数只关注显著物体本身,却忽略了背景信息。因此,提出了一个新颖的显著性检测模型,将深度信息同时考虑到背景和前景中提取出显著区域。首先,通过图像边界信息的背景测量机制来去除前景噪声并从边界超像素中选择背景种子,从而计算出基于背景的显著图;其次,将输入的图像构造成图,并将深度信息引入到图形结构中,利用颜色、深度、位置等线索获取前景种子,从而计算出基于前景的显著图;最后,将背景图和前景图融合获得初始显著图,再加以元胞优化,迭代传播后得到最终的显著图。在三个RGB-D图像显著性检测数据集LFSD、NJU-400、NJU-2000上进行对比实验,实验结果表明,该方法具备有效性,同时也提高了检测准确率。

注意力引导多模态融合的RGB-D图像分割

为提高图像分割效率,提出注意力引导多模态交叉融合分割网络(ACFNet)。采用编码器-解码器结构,设计非对称双流特征提取网络,RGB和深度编码器分别以ResNet-101和ResNet-50为主干网络,并在RGB编码器中添加全局-局部特征提取模块(GL)。为有效融合RGB和深度特征,提出注意力引导多模态交叉融合模块(ACFM),在多阶段利用融合的增强特征表示。实验结果表明,ACFNet在室内场景分割数据集NYUD V2上的平均交并比(mIou)达到了51.5%,与先进的语义分割算法相比,显著提高了分割性能。

基于多视角RGB-D图像帧数据融合的室内场景理解

对于智能机器人来说,正确地理解环境是一项非常重要且充满挑战性的能力,从而成为机器人学领域一个关键问题.随着服务机器人进入家庭成为趋势,让机器人能够依靠自身搭载的传感器和场景理解算法,以自主、可靠的方式感知并理解其所处的环境,识别环境中的各类物体及其相互关系,并建立环境模型,成为自主完成任务和实现人机器人智能交互的前提.在规模较大的室内空间中,由于机器人常用的RGB-D(RGB depth)视觉传感器(同时获取彩色图像和深度信息)视野有限,使之难以直接获取包含整个区域的单帧图像,但机器人能够运动到不同位置,采集多种视角的图像数据,这些数据总体上能够覆盖整个场景.在此背景下,提出了基于多视角RGB-D图像帧信息融合的室内场景理解算法,在单帧RGB-D图像上进行物体检测和物体关系提取,在多帧RGB-D图像上进行物体实例检测,同时构建对应整个场景的物体关系拓扑图模型.通过对RGB-D图像帧进行划分,提取图像单元的颜色直方图特征,并提出基于最长公共子序列的跨帧物体实例检测方法,确定多帧图像之间的物体对应关联,解决了RGB-D摄像机视角变化影响图像帧融合的问题.最后,在NYUv2(NYU depth dataset v2)数据集上验证了本文算法的有效性.

基于交互式条件随机场的RGB-D图像语义分割

RGB-D图像语义分割是场景识别与分析的基础步骤,基于条件随机场(CRF)的图像分割方法不能有效应用于复杂多变的现实场景,因此提出一种交互式条件随机场的RGB-D图像语义分割方法。首先利用中值滤波和形态重构方法对Kinect相机拍摄的RGB-D图像进行预处理,降低图像噪声及数据缺失;其次,利用基于条件随机场的分割方法对经过预处理的图像进行自动分割,得到粗略的分割结果;最后,用户通过交互平台,将代表正确场景信息的标签反应到条件随机场模型中并进行模型更新,改善分割结果。通过多组实验验证了该算法不仅满足用户对于复杂场景分割与识别的需求,而且用户交互简单、方便、直观。相较于传统的基于条件随机场分割方法,该方法得到较高的分割精度和较好的识别效果。