苹果采摘机器人中的图像配准技术

为了减少自然环境下的光线干扰,采用一个彩色相机和一个深度相机获取目标物的图像,利用多源传感器信息融合与互补方法,实现多目标图像的精确配准。基于TOF(time of flight)技术的PMD(polarization mode dispersion)相机,能实时获得强度图像和深度信息。以苹果树为研究对象,采用Harris检测提取特征点,在归一化互相关系数法的基础上运用邻域的支持强度实现了PMD图像与彩色图像的同名点配准。对自然场景中共50组图片进行试验验证,该方法顺光条件下正确匹配率达到85.75%,逆光条件下的匹配率是79.57%,能满足光线变化的图像精确配准的要求。

成熟期苹果树冠层器官异源图像配准

为精确构建果树冠层彩色三维空间结构,以成熟期苹果树冠层为研究对象,将PMD摄像机及彩色摄像机相结合获取冠层器官异源图像,开展异源信息配准技术研究。将SIFT算法应用于异源图像特征点提取研究中,并应用目标函数优化RANSAC算法完成同名点提纯以保证特征点匹配的有效性,避免了异源图像尺度变化及果园自然光照的影响;在分析异源图像成像效果基础上,确定了应用双线性映射模型求解异源图像空间映射关系,有效克服了应用仿射变换模型求解异源图像空间映射关系的不精确性。果园不同自然环境下的配准实验表明:提出的混合算法适用于苹果树冠层器官异源图像的配准,晴天顺光环境下的正确配准率为88.2%,晴天逆光环境下的正确配准率为84.2%,阴天环境下的正确配准率为72.7%。

改进的PMD距离图像超分辨率重建算法

PMD(photonic mixer device)相机是一款基于TOF(time-of-flight)技术的3维成像系统,在获得2维灰度图像的基础上,能够同时捕捉距离图像和幅度图像。但它的主要缺点是分辨率低,并存在较大的随机噪声。针对此问题,结合PMD相机幅度信息和双边滤波器的特点,提出一种改进的非连续自适应马尔科夫随机场(DAMRF)模型的超分辨率重建方法,该模型引入调制信号幅度A的平方作为可信度,将其作为权值对传统DAMRF模型中能量函数的距离项进行自适应加权,从而增加距离图像每个像素点在平滑过程中的权值。该方法不仅提高了距离图像的空间分辨率,又能有效地对距离图像进行滤波去噪,同时也增强了距离图像的边缘信息,较好地保持了图像边缘的连续性。实验结果表明,该方法的重建结果优于传统DAMRF模型的超分辨率方法,获得重建图像的信噪比(SNR)和均方根误差(RMSE)都有较好的改善,重建图像的视觉效果也得到一定的提高。

可信度双三次插值的PMD距离信息和RGB图像数据融合

PMD(photonic mixer device)相机是一款基于TOF(time-of-flight)技术的3维成像设备,在获取2维灰度的同时能够获取高精度的距离信息。但它存在水平分辨率低,随机噪声较大的缺点。针对此问题,将PMD距离信息和高分辨率RGB图像相融合,提出一种新的基于可信度的双三次插值和投影纹理的数据融合方法。该方法充分考虑了PMD相机信号幅值和距离信息可信度的关系,加强了精确的距离信息对融合结果的影响,并且给出了直接运用距离信息进行PMD距离图像在世界坐标系的重建方法,降低了运算的复杂度。实验结果表明,本文方法可以得到具有彩色信息和距离信息的高分辨率图像,融合后图像的距离信息更为准确和丰富,有效降低了随机噪声的影响,并且在运行时间上也有较强的优势。

大豆冠层多源图像特征点配准方法研究

针对具有颜色信息的大豆冠层三维结构形态的重建问题,采用PMD摄像机与彩色摄像机相结合的多源图像采集系统获取大豆冠层多源图像,对大豆冠层多源图像特征点配准方法进行研究。以彩色图像和强度图像为研究对象,利用仿射变换实现彩色图像坐标系到PMD图像坐标系的转换;利用Harris算法检测图像特征点,采用基于归一化互相关系数法(NCC)实现特征点粗匹配。为克服传统RANSAC算法抽样次数较多及和数据检验时间较长的弊端,提出在特征点匹配阶段,按照可信度将特征点对排序,从可信度高的点对开始抽取的方法来优化经典RANSAC算法,进而实现特征点精匹配,最终完成多源图像特征点配准。为验证本研究提出的图像配准算法的有效性,将该算法与传统图像配准算法相对比,结果表明:室外和室内环境下,样本组的平准正确配准率分别为83%和87%,均优于传统图像配准算法,并满足快速配准大豆冠层多源图像特征点的要求。