利用RGB-Depth相机的机械模型建模

从真实机械模型出发,提出了一种利用RGB-Depth相机重建机械模型的方法。该方法流程如下:首先,利用RGB-Depth相机捕获真实的机械模型,获取机械模型的RGB图像和深度数据,注册出模型的粗糙点云数据;其次,用户通过简单的交互,快速将点云分割成多个部分;再次,利用机械模型构造基元简单、规整性好、复用性高的特点,从零件数据库中选取合适的基元,匹配分割的子部分;最后,通过模型部件之间位置关系的优化,重建出多零件机械模型的网格数据。实验结果表明,这种建模方法可以为机械模型重建出具有良好几何特性且符合机械模型构成规则的网格数据,为机械模型的建模技术提供一种新的选择。

全范围头面部DR辅助摆位系统设计与实现

为了辅助放射技师减少摆位错误,提出了一套完整的全范围头面部DR(digital radiography)智能辅助摆位系统.该系统以嵌入式计算平台为基础,利用RGB-D相机捕获的图像准确估计患者头部姿态,并针对不同的拍摄体位需求提供精确的摆位指导.采用六维向量描述头部姿态,并开发了一个深度神经网络Effi6DNet,其能够实时从RGB图像中估计全范围的头部姿态;同时,通过三维可塑模型(3DMM)和3D头部重建技术优化头部姿态估计,达到更高的准确度.该系统结合这2种技术,并融入具体摆位要求,实现了在嵌入式平台上实时和高精度的辅助摆位功能.在多个数据集上的验证结果表明,该系统能够实时和准确识别头部姿态,提供合理的摆位指导.该系统为提高头面部DR的效率和准确性提供了一种新的智能化解决方案.

基于背景修复的动态SLAM

视觉同时定位与地图构建(Simultaneous localization and mapping,SLAM)过程中,动态物体引入的干扰信息会严重影响定位精度。通过剔除动态对象,修复空洞区域解决动态场景下的SLAM问题。采用Mask-RCNN获取语义信息,结合对极几何方法对动态对象进行剔除。使用关键帧像素加权映射的方式对RGB和深度图空洞区域进行逐像素恢复。依据深度图相邻像素相关性使用区域生长算法完善深度信息。在TUM数据集上的实验结果表明,位姿估计精度较ORB-SLAM2平均提高85.26%,较DynaSLAM提高28.54%,在实际场景中进行测试依旧表现良好。

RGB-D目标跟踪综述

近年来,随着深度学习的不断发展,已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能提升,但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪.为应对高难度场景下的挑战,实现高效鲁棒的目标跟踪,多模态目标跟踪应运而生.以RGB-D目标跟踪算法为主,详细列举了当前可见光-深度的多模态目标跟踪算法,对各类算法的优缺点进行分析和比较;并介绍了主流的RGB-D目标跟踪数据集,挑战赛及其评价指标;最后总结了RGB-D目标跟踪技术的发展趋势和挑战,并展望其未来的发展方向:特殊场景RGB-D数据集建设、全新RGB-D目标跟踪评估范式和有效模态融合的RGB-D模型范式.

基于RGB-D图像特征的人体行为识别

针对现有的多模态特征融合方法不能有效度量不同特征的贡献度的问题,文中提出基于RGB-深度(RGB-D)图像特征的人体动作识别方法.首先获取基于RGB模态信息的方向梯度直方图特征、基于深度图像模态信息的时空兴趣点特征和基于关节模态信息的人体关节点位置特征,分别表征人体动作.采用不同距离度量公式的最近邻分类器对这3种不同模态特征表示的预测样本进行集成决策分类.在公开数据集上的实验表明,文中方法具有简单、快速,高效的特点.

基于加锁机制的静态手势识别方法

基于RGB-D(RGB-Depth)的静态手势识别的速度高于其动态手势识别,但是存在冗余手势和重复手势而导致识别准确性不高的问题。针对该问题,提出了一种基于加锁机制的静态手势识别方法来识别运动中的手势。首先,将通过Kinect设备获取RGB数据流和Depth数据流融合成人体骨骼数据流;然后,在静态手势方法中引入加锁机制,并与之前建立好的骨骼点特征模型手势库进行比对计算;最后,设计一款"程序员进阶之路"益智类网页游戏进行应用与实验。实验验证在6种不同运动手势情况下,该方法与纯静态手势识别方法相比,平均识别准确率提高了14.4%;与动态手势识别相比,识别速度提高了14%。实验结果表明,提出的基于加锁机制的静态手势识别方法,既保留了静态识别的速率,实现了实时识别;又能很好地剔除冗余手势和重复手势,提高了识别正确性。

基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题,然而目前大部分算法都是仅使用RGB或深度视频序列,很少将它们结合起来进行行为识别.由于它们都有各自的优点且信息是互补的,因此文中研究深度图像和RGB图像的特性,不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法,而且将它们有效融合,进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估.大规模实验结果表明,文中提出的行为描述算法性能比一些最具代表性算法的性能更好.同时,深度数据和RGB图像融合后算法性能得到进一步提高,比单独使用深度数据或RGB图像的性能更好,且具有较好的区分性和鲁棒性.

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建(SLAM)是机器人在未知环境实现自主导航的关键技术,针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题,提出一种新的RGB-D SLAM系统,以进一步提升实时性和精确度。首先,采用ORB算法检测图像特征点,并对提取的特征点采用基于四叉树的均匀化策略进行处理,并结合词袋模型(BoW)进行特征匹配。然后,在系统相机姿态初始值估计阶段,结合Pn P和非线性优化方法为后端优化提供一个更接近最优值的初始值;在后端优化中,使用光束法平差(BA)对相机姿态初始值进行迭代优化,从而得到相机姿态的最优值。最后,根据相机姿态和每帧点云地图的对应关系,将所有的点云数据注册到同一个坐标系中,得到场景的稠密点云地图,并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上,将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比,实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型。在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计。实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较。实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向。

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机(Azure Kinect DK)采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400~2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和拍摄距离1 m以内时,定位误差均在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。

基于结构森林的RGB-D图像轮廓提取

为了获取更加清晰、更多细节的轮廓特征,充分利用Kinect传感器获取的RGB-D图像信息,将结构化的随机森林作为分类器,提出一种更加精确的轮廓提取器。首先,将RGB-D图像的多种信息利用数学公式表示出来;然后利用BSD500数据集以及NYU深度数据集训练结构化的随机森林算法,核心是将给定节点的结构化标签映射到一组离散标签;最后,利用该随机森林算法对RGB-D图像信息进行分类,得到图像轮廓。针对细节不同的四种场景图像进行对比实验,结果表明,经改进后的算法得到的轮廓效果更加清晰、准确。

基于RGB-D深度相机的智能导盲系统

针对现有的导盲杖和导盲犬在实际工作中存在作用有限,使用效果差,成本高,普及率低的问题,开发了一种基于RGB-D深度相机的智能导盲系统,通过使用RGB-D深度相机实现对障碍物的探测,通过GPS远程导航实现全局路径规划,结合A算法实现局部障碍物规避,通过上位机计算处理信号,下位机系统控制振动阵列和发出语音信号提示盲人。在实际测试中表现出精准的定位效果和良好的障碍物规避能力,语音提示和振动提示及时准确,基于RGB-D深度相机的障碍物距离探测误差小于3%,基本满足系统设计需要。

基于RGB-D图像的物体识别方法

物体识别是机器视觉研究的主要内容之一,融合物体深度特征的RGB-D图像为物体识别精度的提高提供了新的解决途径。为系统总结其近年产生的诸多成果,首先综述了基于RGB-D图像的物体识别研究,讨论了结合深度图像的RGB-D图像应用于物体识别的优势;其次,从公开的RGB-D数据库样本特征分析出发,归纳和分析了早期的基于先验知识的手工特征识别方法和目前的基于特征学习的RGB-D物体识别,并详细论述了RGB-D数据的多模态融合方法;最后,基于华盛顿RGB-D object dataset对20余种模型与编码组合方式的识别结果进行了系统的对比和分析,并对RGB-D物体识别的趋势及未来研究方向进行了展望。

基于改进双流卷积递归神经网络的RGB-D物体识别方法

为了提高基于图像的物体识别准确率,提出一种改进双流卷积递归神经网络的RGB-D物体识别算法(Re-CRNN)。将RGB图像与深度光学信息结合,基于残差学习对双流卷积神经网络(CNN)进行改进:增加顶层特征融合单元,在RGB图像和深度图像中学习联合特征,将提取的RGB和深度图像的高层次特征进行跨通道信息融合,继而使用Softmax生成概率分布。最后,使用标准数据集进行实验,结果表明,Re-CRNN算法的RGB-D物体识别准确率为94.1%,较现有基于图像的物体识别方法有显著的提升。

基于改进LBE特征的RGB-D显著性检测

针对LBE算法难以完整检测出结构复杂的目标和过度依赖深度信息的问题,提出一种基于改进LBE特征的RGB-D显著性检测算法。首先,对输入图像进行多级分割;然后,在各级分割图上计算LBE特征并融合,得到深度显著图;最后,利用色彩信息和先验信息对深度显著图进行矫正得到最终显著图。实验结果表明,改进算法与原始LBE算法相比在准确率上略有降低,在召回率上明显提升,得到的显著图更接近真实值。

基于动态语义特征的视觉SLAM系统

针对视觉SLAM(Simultaneous Localization and Mapping)在真实场景下出现动态物体(如行人,车辆、动物)等影响算法定位和建图精确性的问题,基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping 3)提出了YOLOv3-ORB-SLAM3算法。该算法在ORB-SLAM3的基础上增加了语义线程,采用动态和静态场景特征提取双线程机制:语义线程使用YOLOv3对场景中动态物体进行语义识别目标检测,同时对提取的动态区域特征点进行离群点剔除;跟踪线程通过ORB特征提取场景区域特征,结合语义信息获得静态场景特征送入后端,从而消除动态场景对系统的干扰,提升视觉SLAM算法定位精度。利用TUM(Technical University of Munich)数据集验证,结果表明YOLOv3-ORB-SLAM3算法在单目模式下动态序列相比ORB-SLAM3算法ATE(Average Treatment Effect)指标下降30%左右,RGB-D(Red,Green and Blue-Depth)模式下动态序列ATE指标下降10%,静态序列未有明显下降。

HOG算法在机器人3D视觉技术中的应用

HOG算法在行人检测和手势识别中有很好的试验效果,是一种优秀的特征描述符。通过对HOG算法做适当变形处理,使其应用于Kinect的RGB和深度图像,以此描述目标物体的3D特征信息,通过libSVM分类器训练模板,并进行物体的分类和识别。试验结果表明:利用RGB和深度信息的HOG识别系统比只利用二维信息的识别系统有着更高的识别准确率。

基于深度图像的列车乘客目标识别技术研究

针对轨道交通中高密度客流的特点,提出了一种基于深度图像的局部法向量特征提取方法,利用球面坐标系参数(,)表示物体表面切平面法向量的特征信息,通过提取检测区域的局部法向量作为目标特征,以实现目标识别及头部轮廓提取。采用深度图像能有效地解决轨道车辆高度及光照等环境因素的局限性,并通过试验验证该方法的实时性和准确性。

基于RGB-D相机的实时人数统计方法

针对传统人数统计方法因遮挡、光照变化导致准确率低的问题,提出一种适用于深度图的模拟降水分水岭算法(Depth map based Rainfalling Watershed Segmentation,D-RWS)。修复深度图并用混合高斯背景建模提取前景。利用D-RWS算法分割深度图中感兴趣的行人头部区域(Region Of Interest,ROI)。采用质心欧式距离最短法关联各帧中同一目标并跟踪计数。实验结果表明:提出的方法准确率能够达到98%以上,平均每帧处理时间为25 ms(40 f/s),准确率和实时性可满足实际应用的要求。

基于矩保持法的彩色目标深度测量

提出了一种基于矩保持法获取彩色目标深度信息的新方法;算法首先通过改变摄像机的镜头焦距获得同一景物的两幅散焦程度不同的RGB图像;然后利用色差sobel算子将RGB图像转换为灰度边缘图像;根据矩保持法分别计算两幅图像边缘区域面积与整个图像面积的比值,进而得到景物的深度.算法不要求图像的准确聚焦,而且充分利用了图像的全部彩色信息,避免了使用灰度图像产生的信息丢失;实验结果表明该方法能够快速准确地获得目标的深度信息,方法实用有效。