基于图像与点云融合的巷道锚护孔位识别定位方法

煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。

一种动态双模态线阵相机的联合标定方法

在实际工业应用中,线阵相机在被测物体运动速度快、拍摄视场范围广以及精度要求高的场景下比面阵相机更具优势,并且将二维图像数据与三维点云数据相结合能使信息量更丰富,能更好地还原真实场景。为提高在工业应用场景下的双模态数据的结合精度,提出一种动态双模态线阵相机的联合标定方法,该方法能实现简便快捷的2D线扫相机与3D线扫相机之间的联合标定。实验结果表明,该算法能以较小计算量实现高精度双模态双线扫相机的联合标定。

基于双目立体视觉的岩体结构三维建模及其参数优化

为研究岩体结构面的快速、高效建模方法,基于便携型LenaCV双目立体视觉成像系统,对左、右双目图像进行校正、对齐、纠偏和三维建模算法研究,提出确定相机内外参数的最优标定工况,分析适于点云建模的目标对象特征,确定三维点云建模的最佳拍摄距离与基线距离关系,获取双目视觉建模的最优参数。研究结果表明:以0.5像素为误差上限,LenaCV相机标定的最佳棋盘格尺寸为10 mm、最优标定距离为25倍基线距离;对比三维点云模型建模效果,表面粗糙对象建模效果优于光滑对象,目标在视野中图幅占比高的对象建模效果优于图幅占比低的对象;12 cm基线距离相较于6 cm基线距离的LenaCV双目系统,建立并输出的目标对象的三维点云数据结果更优。基于几种现场测试讨论了最优标定工况、摄影工况和建模对象特点,为岩体三维结构重建提供了可参考的实践经验,验证了基于LenaCV双目摄像机的三维岩体结构面建模的可行性。

基于多源数据融合古建筑三维重建技术的研究

将无人机倾斜影像、地面三维激光点云和数码相机照片相结合,从影像数据与点云数据2个层面研究数据融合的理论及策略,通过数据预处理、坐标系统一、数据配准、影像点云融合、点云数据融合实现三维实景重建。建立的三维实景模型,能够真实全面地还原和反映目标物全貌,且具备直观表达对象整体空间信息的能力。通过点、线、体3个层面的精度验证可以得出,本文提出的多源数据融合建模方法能够建立无遮挡、无空洞、细节表达完整的三维实景模型,且模型精度良好,为古建筑数字化保护拓展了一个新的方向。

全天空数字相机观测云量的初步研究

采用带有鱼眼镜头的数字相机拍摄全天空图像 ,对图像进行处理并分析 ,实现根据图像获取云量的目的。介绍了工作的基本原理和方法并给出初步实验结果。结果表明 ,用目前分析图像所获取的算法计算云量 (与观测员记录相比 ) ,平均误差在1 5%以内 ,结果的准确度受地面能见度影响较大 ,对能见度达 1

多接地点闪电的梯级先导与回击过程的研究

利用成像率为1000幅/s的高速数字化摄像系统和电场变化仪,对在一次回击过程中具有多个接地分支的闪电(MGPF)进行了研究.结果表明:MGPF回击前的梯级先导由包含2～4个脉冲的脉冲束组成,脉冲束间的时间间隔平均值约为26μs,脉冲间的时间间隔平均值约为5μs;广东MGPF回击过程中和的电荷量约为4.5C,青海的约为11C;广东MGPF发生比例为16.7%,青海的为17.6%;一次回击的多个接地分支多发生在首次回击.通过分析发现,MGPF的形成与闪电的梯级先导、连接过程等有重要关系.闪电在一次回击过程中具有多个接地分支对雷电防护方法和设计的改进提出了更高的要求.

针对复杂环境的模块化栅格地图构建算法

针对煤矿灾害救灾与信息探测机器人的自主导航问题,提出了一种用模块化的局部栅格地图表示复杂三维环境的地图构建算法。该算法使用TOF相机对三维环境信息进行获取,形成三维点云坐标矩阵。通过对坐标阵中每个点进行计算,判断坐标点在局部栅格地图中的位置,创建新的局部栅格地图,并对栅格单元占据概率进行实时更新,创建完整的全局环境栅格地图。根据栅格单元中坐标点的密度,对障碍物进行类型划分,确定通行区域与不可通行区域,简化路径规划的算法。实验结果和数据分析证明了本文地图构建方法的有效性和实用性。

反求工程中基于照片重构点云数据的研究

通过在不同的方位所拍摄的两幅照片,根据双目视觉匹配原理,以循环淘汰式鲁棒性匹配结果做为种子点,用唯一性和连续性约束实现区域扩散的对应点匹配,并利用相机非线性优化方法的标定结果和SFM重建算法来恢复物体三维结构信息。本方法仅仅利用数码相机作为图像传感器来测量物体的三维模型,避免了其他的测量方法操作复杂,测量物体尺度限制性等,通过照片就能够直接生成面向反求工程的点云数据。试验结果表明本文的方法能够达到理想的精度,是有效可行的。

全天相机云图去噪算法的研究

全天相机云图在天文观测领域具有重要价值,但云图所含噪声会造成不良影响。先后分析了星光噪声、月光噪声、日光噪声、雷电噪声、反光噪声和特殊噪声等对云图的影响,并总结出不同类型噪声的分布、区域大小等特点,最后结合与云层的相对位置关系提出了边界阈值法、时间轴法、反比例线性变换等8种图像处理去噪算法,并形成一个完整的去噪系统。通过实验对不同的算法加以比较,得出不同噪声情况下的最佳去噪方案。实验结果表明,该系统可以有效去除常见噪声,基本保持云层和天空的信息完整性,可简单便捷地实现云图去噪。

基于图像匹配的放射性区域定位方法

去污作业时,工程人员需要准确定位放射性区域,彻底去除有害物质。提出了一种利用图像匹配定位放射性区域的方法,通过普通相机即可确定污染物位置。具体过程为:首先,采集放射性区域的γ相机图像,并提取辐射成像区域的边缘轮廓;然后,从γ相机和普通相机图像中找出匹配点云,并利用点云计算出相机间的变换矩阵;最后,把γ相机图像中的放射性区域轮廓映射到普通相机图像中,完成普通相机对放射性区域的重新定位。实验过程中:γ相机与普通相机有水平和垂直偏角时,该方法通过普通相机准确找到了模拟的放射性区域;而在应用现场,该方法同样通过普通相机找到了放射性污染物。

基于RGB-D相机的单株玉米株高测量方法

玉米株高是反映作物长势的重要指标。为了实现田间单株玉米株高的快速测量,提出了一种基于RGBDepth(RGB-D)相机的玉米株高测量方法。以拔节期玉米为观测对象,首先利用RGB-D相机获取田间玉米的彩色图像和深度图像。对玉米彩色图像进行灰度化、二值化和去噪处理,提取出包含待测玉米的二值图像。利用改进的分水岭分割算法对玉米的灰度图像进行分割,对分割结果进行圆形拟合操作,定位玉米的中心区域。对玉米的二值图像进行骨架化处理,检测骨架的交叉点和末端点,确定玉米骨架的中心点,并检索其到末端点的最短路径。对各条路径的点云数据进行求差与比较,确定玉米的最高点,并对最高点附近的点云数据进行直方图统计,获得地面点。最后,通过计算玉米最高点和地面点的差值,实现单株玉米株高参数的测量。对玉米样本进行测试试验的结果表明:单株玉米株高的平均测量误差为1.62 cm,均方根误差(RMSE)为1.86 cm,测量精度满足实用要求。

基于RGB-D相机的玉米茎粗测量方法

为实现田间玉米茎粗的快速测量,提出了一种基于RGB-D(RGB-Depth)相机的玉米茎粗参数提取方法。以小喇叭口期玉米为观测对象,利用RGB-D相机获取田间玉米的彩色图像和深度图像。首先,根据玉米与背景的颜色差异,对图像进行自动阈值分割,提取图像中感兴趣区域内的信息;利用形态学"开"操作剔除图像中的噪声,得到玉米茎杆的主干。其次,对茎杆主干进行骨架化操作,检测骨架的交叉点和末端点,确定茎杆的待测量部位。然后,对该部位的点云数据进行去噪、聚类、椭圆拟合操作,得到椭圆的长轴和短轴,获得玉米的茎粗。对20株玉米进行测试,结果表明:茎粗长轴的平均测量误差为3.31 mm,标准差为3.01 mm,平均测量相对误差为10.27%,茎粗短轴的平均测量误差为3.33 mm,标准差为2.39 mm,平均测量相对误差为12.71%。该研究可为作物表型参数的快速获取提供参考。

基于点阵结构光获取物体点云的摄影测量方法

基于自主研发的点阵结构光投射系统并设计了一套从影像到点云的详细流程,对立体相机检校之后将左右片提取出的特征点通过核线约束等多种约束规则实现特征点的匹配,实验结果表明可以得到较高的匹配成功率,最终获取到物体表面轮廓的点云。

结构光相机点云图与CT图像配准算法对比研究

目的:针对人脸结构光相机点云图与CT图像配准,寻找最优的特征面部点云提取方法、特征描述法和配准算法的组合,为颅脑穿刺活检手术中基于导航机器人实现精确快速定位提供依据。方法:基于Ubuntu 18.04系统对Inter-RealSense D415结构光相机点云图与CT图像进行三维配准。首先进行相机动态标定,其次进行特征面部点云提取,将CT图像提取到的面部皮肤数据通过C++转化成的点云作为目标点云,将结构光相机拍摄的图像作为待配准点云。然后将3种特征面部提取方法[内部形状描述子(intrinsic shape signatures,ISS)、尺度不变特征变换(scale invariant feature transform,SIFT)和Harris算法]、5种特征描述方法[点特征直方图(point feature histogram,PFH)、快速点特征直方图(fast point feature histograms,FPFH)、方位特征直方图(signature of histograms of orientation,SHOT)、自旋图像(spin images,SI)和3D形状上下文特征(3D shape context,3DSC)]和3种精配准算法[迭代最近点(iterative closest point,ICP)、广义迭代最近点(generalized iterative closest point,GICP)、正态分布变换(normal distribution transformation,NDT)]一一组合,对目标点云与待配准点云进行配准。最后,通过计算配准后的目标点云与待配准点云数据之间的倒角距离,评价各组合的配准效果。结果:45种组合中共有28种组合可实现点云图像配准,配准耗时最快仅需0.06 s,配准效果最佳的为Harris+SI和ICP的组合、Harris+3DSC和ICP的组合,倒角距离均为1.22 mm。结论:该研究中结构光相机点云图与CT图像配准误差满足临床安全要求,可为辅助颅脑病变穿刺活检提供一种快速、廉价且精准的方法。

基于双目立体视觉的水下RGB-D相机

为满足水下机器人水下目标识别、精细作业的需要,研制了一种融合3D点云和二维RGB图像为一体的RGB-D水下相机工程样机。针对水下环境的特殊性,考虑水下多层折射效应,建立水下相机成像及双目立体成像模型。将水下图像转换为空气中的图像来消除折射对重建精度的影响,进行对应点像素匹配,重建3D点云。采用基于颜色校正和暗原色先验的水下图像增强算法对左、右水下图像进行图像增强处理。最后,构建对准叠加模型将3D点云和二维彩色数据叠加融合,获得水下RGB-D图像数据。实验表明:研制的水下RGB-D工程样机具有较好的三维测量精度,3 m远处的系统重建误差为2.6 mm,颜色再现真实,3D点云数据与RGB二维图像对准精准。这对于水下目标识别和水下机器人精细作业具有重要意义。

组合导航辅助的激光雷达-相机实时语义建图

针对64线和128线激光雷达价格过于昂贵,而16线激光雷达点云过于稀疏无法直接进行语义信息提取的问题,本文提出了一种组合导航辅助的激光雷达-相机实时语义建图方法,并通过算法结构设计保障了语义建图的实时性。首先,在组合导航定位结果辅助下,完成了不同采集时刻的点云-图像配准;其次,从图像目标检测框中准确提取了语义物体类别的点云。基于移动机器人平台测试评估了语义建图性能,结果表明该方法能够有效的提高语义点云提取的准确率并在嵌入式处理器Xavier上实时构建语义地图,为移动机器人利用语义信息进行导航和实时执行任务奠定了基础。

光场相机在湍流下的清晰成像和点云计算

无变形镜条件下抵抗大气湍流影响获取几百米至几十公里外目标的清晰成像和点云数据具有重要意义。光场相机是清晰成像和点云计算领域的有力工具,但是它在湍流条件下无法正常工作。同时光场相机技术的主要研究方向集中在如何提高点云的精度和密度,暂无人将其应用于湍流清晰成像。基于相空间光学原理改进了光场相机的信息提取算法,在湍流条件下完成了清晰成像和点云计算。这种算法使用四维密度函数来描述复眼结构,对原始数据的使用更加充分,能够提取物点完整的低阶相位信息,因而,可以抵抗湍流对局部子孔径的影响,稳健地获取目标点云,解算深度图并得到全聚焦清晰成像。根据这一原理设计了光场相机系统,探测室内湍流池后方的目标以及室外湍流下500 m处目标,均获得了4 k以上个物点的准确低阶相位分布,给出了目标的三维点云图和清晰成像。结果表明,该方法无需变形镜系统,也不需要先验信息,是一种稳定工作的解析算法。

深圳市天文台全天云图监测系统的设计与实现

全天云图监测对天文观测至关重要,目前大多数天文台站安装了实时云图监测相机,但共同的难题是如何在光线变化较大的情况下进行正确曝光。为解决这一问题,深圳市天文台自行开发了一套拍摄控制系统,根据相机可用的拍摄参数,计算得到曝光值索引曲线,采用0.3作为曝光值误差,在亮度变化较大的各种环境下进行正确曝光拍摄全天云图,并采用最大类间方差自适应阈值算法,对云进行有效识别。经多次测试,系统在亮度变化较大较快的环境下能拍摄到正确曝光的云图,为天文观测计划提供了极大的便利。

智慧家居中轻量灵活的图像隐私遮蔽模型

基于5G的智能家居系统中,智能摄像头拍摄的视频在上传到云端的过程中存在隐私泄露的问题。通常,智能摄像头是一种计算资源受限的设备,因此,在保证视频流低延时传输以及图像一定可用性的条件下对图像隐私信息进行保护具有一定的挑战性。传统的图像隐私保护方法通常是设计复杂的图像加密算法对整张图进行加密,然而图像中的隐私通常只是图像中的部分内容,如果对全图进行加密,不仅缺乏灵活性,还造成了资源浪费。文章首先采用YOLO v5算法获取用户定义的敏感区域,然后基于DNA加密技术以及整数向量同态加密技术提出了一种遮蔽算法对敏感区域进行遮蔽。该遮蔽算法提供了基于用户需求的动态遮蔽策略,算法轻巧灵活且可以满足用户可定制化隐私保护需求。实验表明,该模型可以应用于智能家居环境中。

基于一种新的光学技术观测泥质白云岩的单轴压缩过程

泥质白云岩作为一种软岩广泛分布于贵州各地,近年来随着贵州建设的大力推进,其力学性质越来越受到学者们的关注。本文采用一种新的光学技术—数字散斑相关技术来观测泥质白云岩的单轴压缩过程,首先对数字散斑相关技术中的散斑制备和相机架设进行了阐述,其次对试验结果中的应变云图进行了解释。