基于Kinect的六轴工业机器人异常姿态检测方法

工业机器人异常姿态检测是保障工业机器人安全作业的重要手段。针对已有方法存在检测准确率低和时效性不足的问题,提出了一种基于Kinect相机的六轴工业机器人异常姿态检测方法。该方法使用Kinect相机采集工业机器人彩色图像和深度图像,通过YOLOF目标检测算法得到彩色图像中工业机器人关节轴的信息,结合深度图像转换为对应三维坐标,参考工业机器人结构特性,构造机器人关节向量,提取角度特征,进行工业机器人姿态特征表示,基于欧式距离和余弦相似度进行姿态匹配,检测工业机器人异常姿态。本文的方法结合了工业机器人关节轴三维信息可对姿态进行更加精确的匹配。构建了六轴工业机器人作业视频数据集并进行了异常姿态检测。实验结果表明,本文的工业机器人异常姿态检测方法准确率为96.6%,单帧图像检测时间为43 ms,满足机器人安全监控实际应用需求。

基于激光雷达和Kinect相机点云融合的单木三维重建

为了更好地建立单木三维彩色模型,获得准确表型参数,提出了一种基于Kinect v2相机和激光雷达的单木点云信息融合检测方法。首先由激光雷达采集樱树单木所在区域的完整环境点云,生成点云地图;由Kinect相机采集樱树单木多视角点云得到完整的三维彩色点云;然后以激光雷达点云位置为基准,通过选取对应同名点的方式对2种点云进行初始配准,使点云之间具有良好的初始位置关系,再使用最近点迭代(iterative closest point, ICP)算法对点云进行精配准;最后使用彩色点云对雷达点云进行点云着色融合处理,实现樱树单木的三维重建。结果显示:与只使用Kinect v2相机生成的樱树单木表型参数对比,融合后的樱树单木的株高、冠幅和胸径的平均相对误差分别降低了1.52、6.46和18.17个百分点。研究结果表明,Kinect v2深度彩色相机和激光雷达在单木三维重建上能实现优势互补,提升点云配准精度,同时,既能降低光照气候条件的影响,又能增加测量距离,单木表型参数更准确。

基于Kinect相机的深度图像空洞修复算法

针对Kinect相机采集的原始深度图存在大面积空洞,采用快速进行法(FMM)修复算法存在图像边缘失真等问题,提出一种改进FMM的深度图像空洞修复算法。首先,对原始深度图像进行阈值处理,生成掩码图像以确定待修复区域;然后,采用改进FMM算法,引入置信度因子并使用固定尺度的目标块替换原先修复邻域,根据非零像素点占比选择不同的修复算法;当置信度较低时,根据图像特征连续性确定候选块搜索邻域,通过相似性度量函数获取最佳匹配块;最后,将最佳匹配块的中心像素值替换至待修复点,迭代至空洞完全修复。实验结果表明:与传统FMM算法相比,改进FMM算法的峰值信噪比提升了11.79%,避免了图像边缘失真等问题,可以有效地对Kinect相机采集深度图像过程中产生的空洞完成修复。

基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。

基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。

Kinect与二维激光雷达结合的机器人障碍检测

在Kinect相机和二维激光雷达结合的基础上,提出了一种适用于移动机器人、低成本的障碍物三维感知方法。该方法首先通过Kinect相机和二维激光雷达联合标定建立深度图像点与激光雷达测距点的对应关系,然后,融合二者的检测数据得到环境障碍物位置。具体步骤为:1)Kinect相机与二维激光雷达分别从环境中获取深度图像和二维激光数据;2)将深度图像转换成虚拟二维激光数据;3)根据联合标定得到的对应关系融合虚拟激光数据与二维激光雷达数据,得到障碍物的位置。实物测试证明该方法正确有效,可用于移动机器人对环境障碍物的判断。

基于Kinect相机的穴盘苗生长过程无损监测方法

为实现工厂化穴盘苗的无损测量,提出一种基于Kinect相机的穴盘苗生长过程无损监测方法。以黄瓜穴盘苗为监测对象,在穴盘苗正上方架设Kinect相机,获取穴盘苗的彩色图像和深度图像,并进行彩色图和深度图之间的像素匹配;通过对彩色图像进行预处理、阈值分割、形态学运算和连通分量统计,获取穴盘发芽率;同时,由图像分割获取的幼苗轮廓和深度值计算得到叶片中心像素点坐标及其对应的深度,以此得到相机到幼苗叶片中心的高度,结合相机到穴盘格的距离和穴盘高度,实现对穴盘苗株高的监测;将深度图像进行直通滤波、条件滤波、边界保持滤波处理,有效去除穴盘苗周围的背景噪声以及波动幅度大的深度数据,获得幼苗叶片中像素点的有效深度,通过在深度图像中对叶片进行重建实现叶面积分析;基于获取的穴盘苗株高和叶面积建立壮苗指数评价模型。利用穴盘苗生长过程监测数据进行实验验证,结果表明,在发芽后5 d内,发芽率误差不大于1.567%;株高和实际株高之间的拟合优度R^(2)为0.875,RMSE为1.395 mm;叶面积平均误差为2.15%;壮苗指数拟合优度R^(2)为0.958。说明本文设计的穴盘苗监测方法可以实现对穴盘苗的发芽率、株高、叶面积和壮苗指数的无损监测,为工厂化穴盘苗生长过程监测提供了有效的解决方案。

基于Kinect的特定人员鲁棒识别与定位

为避免人机共处时相撞,提出了一种基于Kinect视觉的特定人员识别与定位方法.利用Kinect传感器深度图像中的用户索引位信息、同步的彩色图像与深度图像的对应关系,滤除彩色图像中的复杂背景,确定感兴趣目标区域.进而在彩色图像内,基于加速鲁棒特征算法(SURF)在连续帧间完成特征匹配,快速识别特定目标人员;在深度图像内,采用无迹卡尔曼滤波(UKF)实现了在摄像机坐标系内的人员定位.实验结果验证了算法的鲁棒性,表明算法能够适应光线变化、目标再入和部分遮挡等情况.

基于Kinect相机的深度图像空洞修复及超像素分割算法

针对Kinect相机原始深度图像存在空洞的问题,提出了一种结合彩色图像局部边缘信息的深度图像空洞修复算法。首先,通过双边滤波修复较小空洞;其次,根据彩色图像局部边缘信息将较大空洞分为无边缘和有边缘2类;最后,对第1类无边缘空洞进行均值填充修复,对第2类有边缘空洞先根据彩色图像局部边缘特征分割空洞,再分别由外而内逐步修复,从而完成所有的空洞修复。空洞修复完成后,融合深度信息重新建立了线性谱聚类核函数,并基于此提出一种融合深度信息的线性谱聚类超像素分割算法(LSC-D)。实验结果表明,与其他方法相比,提出的深度图像空洞修复算法具有更高的修复准确度,提出的LSC-D超像素分割算法具有更低的欠分割错误率和更高的边界召回率。

基于Kinect视觉识别的智能居家机器人系统

为了更好的给老年人提供服务,提出了基于Kinect视觉识别功能的智能居家机器人控制系统。首先通过Kinect摄像头获取人体景深图像,然后利用姿态识别算法对人体姿态进行识别,最后将识别结果转换为控制命令传输到智能居家机器人使其完成自主抓取、传递物品等一系列动作。实验表明,基于Kinect视觉识别的控制方式能准确控制智能居家机器人,实现了机器人控制方式上的创新,对服务型机器人领域的发展研究具有很好的参考价值。

基于多Kinect的旋转人体扫描系统研究

为解决目前人体扫描系统价格昂贵、操作复杂、占用面积大等问题,基于微软推出的Kinect相机具有快速、安全、经济的特点,提出利用3个Kinect相机和一个旋转台来构建三维人体扫描系统,研究该系统涉及的深度相机成像原理、多相机标定以及点云配准等技术。首先利用KinectFusion技术重建出单个传感器的三维点云,然后采用多相机标定技术,计算各传感器之间的相对位置关系,实现点云的初始拼接,并使用ICP算法实现点云的精确配准,从而重建出完整的三维人体点云模型。实验结果表明,该方法能够重建出高精度点云,并且该人体扫描设备成本低,占地面积小,可行性与实时性强。

基于kinect摄像机的多运动目标实时跟踪

多运动目标跟踪是视频监控中的关键问题,在目标相互运动发生遮挡时,采用二维摄像头监控容易丢失信息而造成跟踪失败.本文采用kinect摄像机获取目标的RGB图像及深度图像,并分别获取基于RGB图像信息的目标颜色模型和基于深度信息的目标三维空间模型,在视频帧间将颜色、空间模型分别匹配得到目标帧间匹配度,通过Mahalanobis距离算法实现多目标匹配,从而得到多目标识别跟踪结果.实验表明,在RGB-D数据集及拍摄的视频序列上均取得了较好的跟踪结果,实现了kinect三维视觉下的实时多目标的跟踪.

基于Kinect相机的土壤表面三维点云配准方法

为了更好地建立土壤表面的三维点云形态结构模型,使用Kinect相机拍摄土壤表面,获取土壤表面的彩色图像和深度图像。针对传统最近点迭代算法对配准点云的空间位置要求比较严格的问题,采用了点云初始配准的方法。这种方法首先去除土壤表面深度图像的无用背景信息以及噪声,再对三维点云进行初始配准以及精确配准。在初始配准的过程中,对获取的土壤表面点云信息进行归一化对齐径向特征关键点搜索,得到具有代表性、且比较均匀的点云关键点,然后采用快速点特征值直方图的方法提取关键点的特征值,采用随机抽样一致性算法提纯映射关系,以此来完成点云的初始配准。最后采用最近点迭代算法完成土壤表面三维点云的精确配准。传统的最近点迭代算法的配准时间是58.2s,配准误差是3.80cm,改进后的方法配准时间为124.8s,配准误差为0.89cm。相比传统最近点迭代算法,改进后方法的配准时间虽延长了66.6s,但配准误差降低了2.91cm。结果表明,该方法简单,易于处理,成本较低,可以实现土壤表面的三维重建。

Kinect深度摄像机在振动测量中的应用

由于目前大多数振动测量方法效率低、成本高,研究将Kinect深度摄像机应用于测量物体表面任一点的实时振动信息。实验对比了Kinect摄像机和Bumblebee2双目摄像机在不同频率下测得的数据,分析两种方法测得数据精度和测量效率,表明了Kinect深度摄像机在振动测量中的优势。

基于Kinect的人物抠图算法

针对传统抠图过程中要求一定的背景颜色、较好的光线、人机交互繁琐、不具备实时性等问题,提出以Kinect为硬件基础的基于用户索引识别信息(简称用户ID)和识别人物的抠图算法并进行仿真,实现了人物的自然实时抠图效果.整个抠图过程简单方便,不需除Kinect和电脑以外的任意设备,抠图效果稳定,在较暗的环境中也能进行抠图工作,并且具有实时性.

一种基于Kinect相机的室内AGV障碍物检测方法

针对在室内工作的自动引导运输车(automated guided vehicle,简称AGV)面临的障碍物实时检测问题,提出一种基于Kinect相机的检测方法。在深度相机标定的基础上,将相机获得的深度图像准确地变换成相机坐标系内的点云数据,利用点云数据,通过制定障碍物检测规则,实现AGV小车行驶过程中障碍物的快速实时检测,实试验证了该方法的准确性。

基于Kinect的三维人体建模研究

针对三维人体模型在多媒体工业中高精度的要求,提出了1种通过查找近似模型并结合网格变形算法的三维人体重建方法,采用Kinect深度摄像机扫描人体获得目标模型;在可变模型中查找与扫描模型特征信息相近的模型;并利用可变人体模型的网格变形,重建出三维人体模型。实验结果表明,所提方法简单、易操作,且不需任何人体标定,能够重建出高精度的三维人体模型。

基于Kinect的机器人抓取系统研究

智能抓取搬运机器人能够高效、可靠地完成各种搬运任务,降低工作人员的劳动强度,精准的物体定位是机器人执行搬运任务的基础。本文研究了基于Kinect的机器人抓取系统,可实现物体的类别检测、物体定位及机器人抓取任务。抓取系统由3个子系统(物体检测系统、物体定位系统及机器人抓取系统)组成。首先利用Kinect采集的物体图像信息训练单次多盒检测(Single multi-box detection,SSD)模型,然后根据SSD模型对物体的类别进行检测,得到物体在图像中的边框,并获取边框中物体像素坐标和深度,接着通过Kinect相机手眼标定法将像素坐标和深度转换到机器人基坐标系中,实现物体的定位,最后通过机器人逆运动学求解关节角,驱动机器人运动完成抓取搬运任务。对机器人进行了物体的定位和抓取实验,实验结果表明,物体的定位误差较小,物体抓取搬运实验的平均成功率达到97%,满足物体的抓取搬运需求。

基于惯性传感器和Kinect摄像机的OFCM图像匹配算法

提出了一种基于图像三维信息及摄像机运动参数的图像匹配算法,用于解决智能监控系统中图像匹配实时性差、鲁棒性低等问题。该算法分别利用惯性传感器和Kinect摄像机估计出摄像机的运动外参矩阵和图像的深度信息,再根据射影几何原理,结合当前帧图像的像素坐标计算出该像素点在下帧图像的像素坐标,从而完成图像匹配。利用该算法对实际采集的图像序列进行了分析与处理,并从配准精度、鲁棒性和实时性方面与经典匹配算法KLT进行对比。实验结果表明:该算法极大地降低了计算量和计算时间,不仅能满足智能监控系统对图像匹配精度和稳定性的要求,更能满足系统实时性的要求。

一种基于Kinect相机的腹部肝穿刺介入导航系统

为验证Kinect相机用于腹部肝穿刺介入导航的可行性,开发了一套基于第二代Kinect相机的被动光学定位导航系统。该系统实现了一种无标记术中注册方法,分别从术前腹部X-射线计算机断层图像和Kinect相机获取的彩色及深度图像中提出腹部表面点云数据做匹配,实现术中数据与术前数据融合。为验证系统的导航精度,分别在1个腹部体模和6只健康比格犬肝脏区域做了穿刺导航实验,穿刺结果分别统计了靶点配准误差、用户手动误差和靶点定位误差。体模实验显示,靶点配准误差、用户手动误差和靶点定位误差分别为(4.26±1.94)mm、(2.92±1.67)mm、(5.23±2.29)mm。同时比较了第一代和第二代Kinect相机应用于穿刺导航的性能,实验结果表明,第二代相机的导航精度明显高于第一代。动物实验中得到的靶点定位误差及其横向、径向误差分量为(6.40±2.72)mm、(4.30±2.51)mm、(3.80±3.11)mm。由实验结果可知,该研究成功验证了Kinect相机用于腹部肝穿刺介入手术导航的可行性。