基于深度信息和RGB图像的行为识别算法

人体行为识别是计算机视觉领域的一个热点问题,然而目前大部分算法都是仅使用RGB或深度视频序列,很少将它们结合起来进行行为识别.由于它们都有各自的优点且信息是互补的,因此文中研究深度图像和RGB图像的特性,不仅提出两种鲁棒的深度图和RGB图像上的行为描述算法,而且将它们有效融合,进一步结合多个不同核函数的SVM分类器在具有挑战性的DHA数据集上对它们进行评估.大规模实验结果表明,文中提出的行为描述算法性能比一些最具代表性算法的性能更好.同时,深度数据和RGB图像融合后算法性能得到进一步提高,比单独使用深度数据或RGB图像的性能更好,且具有较好的区分性和鲁棒性.

基于Kinect深度信息的手势提取与识别研究

针对基于视觉的手势识别技术对环境背景要求较高的问题,提出了一种使用深度信息进行手势提取和识别的研究方案。采用了微软Kinect摄像头进行手势深度图的采集,再将深度图转换为三维点云,根据深度信息过滤来提取手势数据。对手势数据进行方向校正后统计手势数据中深度信息的区间分布特征并输入到支持向量机进行训练,从而实现了对数字手势1～5的手势识别。实验结果证明,该手势识别方案的平均识别率达到95%,使用设备简单且精度较高,鲁棒性较好。

基于Kinect传感器深度信息的动态手势识别

提出了基于Kinect传感器深度信息的动态手势识别方法,在预处理阶段通过OpenCV快速跟踪手部,有效分割手势.为改进动态手势轨迹的提取和分类,引入隐马尔可夫模型(HMM)对手势轨迹进行训练和识别.实验结果表明,基于HMM的识别方法对具有时空特性的动态手势有很高的识别率,在不同光照和复杂背景下有鲁棒性的结果.

基于深度信息的草莓三维重建技术

以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象,提出了一种基于深度信息分割聚类的草莓冠层结构形态三维重建算法。首先,以深度信息的不连续性特征作为草莓植株逐层分割的重要依据,以深度二维图像作为全局参考指标,提出深度信息步进方法,自动提取冠层点云;其次,改进密度聚类算法,有效滤除随机、跳边和背景噪声;最后,改进基于Harris算子的多源图像融合算法,实现彩色图像与强度图像的配准及点云颜色的映射,三维重建出具有颜色信息的草莓冠层结构形态。为验证该算法的有效性,将三维重建后冠层的平均单叶长度及A-B线距离作为评价指标,试验结果表明,模型的平均单叶长度计算正确率为93%左右,A-B线距离计算正确率为97%左右,研究结果可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。

基于图像分割的金字塔Lucas-Kanade光流法提取深度信息

在2D到3D视频的转换过程中,深度信息的提取是最关键的问题。本文利用图像分割的金字塔LucasKanade光流法提取2D视频中的深度信息,主要做了如下工作:1是通过计算当前帧的最大运动矢量来决定所需构建的金字塔层数,通过自适应的方式决定金字塔层数可以弥补因金字塔层数过多造成的信息丢失或者因金字塔层数过少而无法满足Lucas-Kanade光流算法的不足;2是在每层金字塔中,利用Mean Shift图像分割后的信息,去除本次迭代计算得到的运动矢量中的坏点,使得深度提取更加准确;3是自适应地调整每层金字塔的迭代次数,使得在实验结果的质量几乎不变的情况下,达到降低时间复杂度的目的;最后通过统计图像分割每类中的深度值对所得到的深度图进行优化,使得最终得到的深度图中物体边缘信息更加清晰。实验结果表明,利用本文算法所得到的场景深度的边缘信息更加清晰,深度图中的坏点明显减少,在降低时间复杂度的同时,得到了较高质量的深度图。

融合颜色信息与深度信息的运动目标检测方法

基于颜色信息的运动目标检测易受光照、阴影等影响,基于深度信息的运动目标检测存在目标边缘噪声大,无法检测距离背景较近的目标等问题。针对上述问题,该文利用CCD相机获取的颜色信息及TOF相机获取的深度信息分别为每个像素建立颜色与深度信息的分类器,根据像素点的深度特征及前一帧的检测结果,自适应地为每个分类器的输出分配不同的权值,实现运动目标的检测。该文采集多组视频序列进行实验,实验结果表明该方法能有效解决单独利用颜色或深度信息进行运动目标检测时出现的问题。

基于显微图像处理的微操作工具深度信息提取方法

提出并实现了一种通过显微图像处理获取目标深度信息的方法,将此种方法应用于生物医学实验中常用的微操作工具—微针的深度信息提取,取得了较好的效果.首先,论述了深度信息提取原理;之后,研究了微针的成像模型,详细分析了显微图像点扩散参数获取与微针深度信息提取的方法,给出了相关的实验结果.最后,将此方法应用于微操作机器人系统,利用离焦状态双针互插实验验证了方法的有效性.结果表明,本文的方法在精度上和速度上都达到了在线应用的水平.

融合深度信息的视觉注意计算模型

针对Itti模型在特征选择上的局限性,借鉴心理学中有关视觉注意的研究成果,提出一种融合深度信息的视觉注意计算模型。该模型在基于图像分割的自适应立体匹配基础上提取深度特征,与亮度、方向、颜色特征相结合,实现空间显著性度量,并采用侧抑机制和WTA机制得到注意焦点。实验结果表明,新模型能较好地反映空间立体视觉信息对注意的影响,使计算结果能更符合人类视觉。

基于显微图像散焦特征的微操作机器人深度信息提取

提出了一种单目显微视觉下微操作机器人深度信息的快速提取方法 ,通过计算微操作空间中 X- Y平面的散焦图像特征 ,表征图像清晰程度 ,从而获得机械手在 Z方向的深度信息 .实验特征曲线证明方法简洁快速 ,有效的反映了微操作深度信息的变化和机械手在纵向的运动特性 .

3D影片中深度信息与观看者疲劳度的关联研究

通过采集志愿者观看不同深度信息的3D影片时的脑电数据,来研究影片的深度信息对观看者疲劳产生的影响。本研究选取了10名健康的男性志愿者,分别观看5部不同深度信息的3D影片片段,记录其观看前后的脑电信号。通过计算观看前后各频带的功率谱,得出疲劳因子R=(Pα+Pθ)/Pβ的比值变化情况。设计了问卷,定性了解志愿者的疲劳程度,并用统计学方法分析了深度信息和对应R值、主观疲劳值两者之间的关系。结果表明,在观看不同深度信息的3D影片后,全部志愿者主观反映眼部出现沉重、酸胀、刺痛等疲劳症状和其他不适,并且有14个导联的R值上升,在导联F4、C4、F7尤其明显。结论是:(1)深度信息与疲劳度有密切的关联性,平均深度信息和标准差越大,也越容易产生疲劳;(2)相同深度信息的交叉视差比非交叉视差更能引起疲劳;(3)疲劳因子R值与主观疲劳问卷可以作为观看3D影片疲劳评估的一个参考指标。

基于改进深度信息的手势分割与定位

针对基于Kinect深度信息分割的手势往往包含手腕易造成后续手势误识别的问题,提出一种改进深度信息的手势分割与定位算法。首先,基于深度信息阈值限定在实验空间中检测出手势二值图;然后,根据普通手势特征,提出基于手势端点检测和可变阈值算法分割出准确手势。为得到稳定的分割效果,对分割手势进行形态学处理,最后选取基于手势重心坐标和最大内切圆圆心坐标的联合手势定位法定位手势。实验结果表明,该手势分割方法比已有分割方法更准确可靠,联合手势定位比Kinect软件开发工具包骨骼数据定位和手势重心定位稳定,无奇异点。

基于Kinect深度信息与骨骼信息的手指尖识别方法

针对基于视频的手势识别技术对手掌轮廓和指尖信息要求较高的问题,提出了一种基于图像深度信息和人体骨骼信息的手指指尖识别方法和手掌轮廓检测算法。采用微软Kinect摄像头获取深度信息和人体骨骼信息,并将每个骨骼点的三维信息转换成深度图上的二维信息。根据人体骨骼信息快速找到手掌的位置,并利用基于深度阈值的轮廓检测算法将手掌轮廓和弯曲手指轮廓从背景图像中分割出来。利用k曲率算法检测到手指指尖的位置。实验结果证明,该方法可以高效地检测出伸直和弯曲手指的轮廓,识别出人体的手指,并且该方法可在黑暗的环境下进行。

基于彩色和深度信息结合K-means聚类算法快速拼接植株图像

图像拼接可以建立宽视角的高分辨率图像,对实现农业智能化有重要作用。基于Kinect传感器的图像拼接方法利用彩色和深度双源信息,能够有效避免图像缺失、亮暗差异、重影等拼接错误,但是存在拼接时间较长和目标植株不明显等情况。针对这一问题,该文提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。首先用K-means聚类算法和植株深度信息提取彩色图像中有效植株区域,再采用SURF(speeded up robust features)算法进行特征点提取,利用相似性度量进行特征点匹配并根据植株深度数据去除误匹配,由RANSAC(randomsampleconsensus)算法寻找投影变换矩阵,最后采用基于缝合线算法的多分辨率图像融合方法进行拼接。室内外试验结果表明:该文图像拼接方法更能突显出目标植株且极大缩短了拼接时间,该方法图像拼接时间只需3.52 s(室内)和7.11 s(室外),较基于深度和彩色双信息特征源的Kinect植物图像拼接方法时间缩短了8.62 s(室内)和38.56 s(室外),且平均匹配准确率达96.8%。该文拼接后图像信息熵、清晰度、互信息、空间频率平均分别为6.34、50.36、11.70、11.28,图像质量较传统方法均有提高。该研究可为监测农业植株生长状态、精确喷洒药物提供参考。

融合深度信息的BRISK改进算法

为了有效地利用RGB-D图像的深度信息,提高BRISK算法的尺度不变性和旋转不变性,提出一种融合深度信息的BRISK改进算法。首先,采用FAST算法提取特征点,并计算每个特征点的Harris角点响应值;然后,将整个图像划分为大小相同的网格,每个网格保留Harris角点响应值最大的特征点;其次,根据图像的深度信息直接计算特征点的尺度因子;最后,计算以特征点为中心的圆的灰度矩心,通过灰度矩心和特征点的位置偏差确定特征点主方向。从尺度不变性和旋转不变性两方面对几种算法进行了对比实验分析。实验结果表明,相比BRISK算法,改进后的算法在图像尺度变化时正确匹配特征点数提高了90%以上,在图像旋转时正确匹配特征点数提高了至少70%。

基于Kinect深度信息的手势分割与识别

针对手势识别对环境背景要求高、分割的手势往往包含手腕及手指靠拢易造成误识别等问题,提出了一种基于深度信息的手势识别方法。采集手势深度图;接着利用手生成器获取手心信息分割手势,为了去除多余的手腕信息,增加了手掌近似正方形的约束条件;利用扫描线法获取拇指外其它四指数,并结合相邻手指宽度比例及拇指位置的特殊性实现手势的识别。实验结果表明,该方法的平均识别率达到98.4%,实时性好,且对不同光照和复杂背景具有很好的鲁棒性。

融合颜色和深度信息的图像物体分割算法

当图像中存在阴影、低对比度边缘和模糊区域时,传统算法仅利用外观信息难以准确提取物体轮廓,而深度不连续性为辨识物体边界提供有用信息.文中提出基于颜色和深度信息的图像物体分割算法,首先利用meanshift算法对图像进行适度的过分割,然后融合颜色和深度信息充分描述过分割区域的特性,根据深度信息自动选取目标和背景的种子区域,最后基于最大相似度进行区域合并,得到图像物体分割结果.在Middlebury和NYU-V2数据库上的实验表明,相比当前通用算法,文中算法简单有效,能提高分割的准确性,改善分割图像的视觉效果.

基于机器视觉的物料袋图像深度信息的提取

建立机器视觉的几何测量模型,设计实验装置并进行标定。得到输出深度图像中灰度值与物体实际深度之间的反比例关系式。实现物料袋深度信息的提取,很好地反应出物料袋的表面形貌,并对所得结果的误差进行分析。

基于Kinect深度信息的手势识别

设计了一种基于Kinect深度信息和双阈值分割的运动手势识别算法。结合OpenCV和OpenNI,在vs2010环境下实现了该算法。利用Kinect的深度摄像头获取深度图像;对该图像进行双阈值分割,获取手部图像;再对手部图像进行形态学处理,获取完整的手形;最后,利用OpenNI的手势生成器GestureGenerator对手势进行跟踪识别。利用深度图像进行手势识别,通过双阈值分割,不仅去除了背景干扰,也能去除一部分前景干扰。用不同颜色点、圆和线的形式表示各种手势,可以清晰地实时显示识别效果。

基于时间对抗的网络报警深度信息融合方法

针对目前网络报警信息融合方法仅以单时间点为处理单元,无法适应网络攻击逐渐呈现出的隐蔽性强、持续时间长等特点,提出一种基于时间对抗的网络报警深度信息融合方法。面对多源异构报警数据流,首先采集并保存当前一个较长时间窗口内的报警信息,然后利用基于滑动窗口的流聚类算法对报警信息进行聚类,最后引入窗口衰减因子对聚类后的报警进行深度融合。真实数据的实验结果显示,与基本DS证据理论(Basic-DS)和指数加权DS证据理论(EWDS)融合方法方法相比,该方法有较高的检测率和较低的误检率,但因为采用了更长的时间窗口,精简率上略低;实际测试与性能分析也表明,该算法的时延较小,能更加有效地检测网络攻击,且能完成实时处理。

基于Kinect深度信息的人体运动跟踪算法

大多数人体跟踪算法鲁棒性不高的主要原因是对人体的颜色特征进行跟踪,针对此问题设计了基于Kinect深度信息的人体运动跟踪算法。通过分析Kinect获取的深度图信息来对人体轮廓进行区分判定,提取前景目标区域以及计算目标区域的深度直方图。通过对深度直方图进行分析去除背景区域部分,根据获取的深度直方图求取跟踪图像的深度反向投影;最后结合Camshift算法确定当前选取目标区域的尺寸和中心位置来进行对人体的实时跟踪。实验结果表明,该算法提取的目标特征具有较强的鲁棒性,避免了光照变化和背景相似情况下的不稳定问题,能实现复杂场景下的人体目标跟踪。