复杂场景下多模态点云数据配准技术

针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问题,利用所提出的基于控制点辅助约束的最近点迭代(CPA-ICP)算法通过对点云数据进行配准,并与其他3种点云配准算法的试验进行对比,可知该方法的配准精度和配准效率较高,对复杂场景下的多模态点云数据融合有较好的参考意义。

基于场景流的可变速率动态点云压缩

针对现有的动态点云压缩神经网络需要训练多个网络模型的问题,提出基于场景流的可变速率动态点云压缩网络框架.网络以原始动态点云为输入,利用场景流网络进行运动向量估计,在压缩运动向量和残差的同时,引入通道增益模块对隐向量通道进行评估和缩放,实现可变速率控制.通过综合考虑运动向量损失和率失真损失,设计新的联合训练损失函数,用来端到端地训练整个网络框架.为了解决动态点云数据集缺少真实运动信息标签的问题,基于AMASS数据集制作带有运动向量标签的人体数据集,用于网络的训练.实验结果显示,与现有的基于深度学习动态点云压缩方法相比,该方法的压缩比特率下降了几个数量级,与静态压缩网络单独处理每帧的重构效果相比,该方法有5%~10%的提升.

基于激光雷达与RGB相机融合的玉米作物行检测算法研究

针对单一传感器在面对复杂田间环境适应性差的问题,本文提出了一种基于固态激光雷达(LiDAR)与RGB相机融合的玉米作物行检测方法。首先,研究了固态激光雷达和RGB相机联合标定方法,同步获取玉米作物行图像和点云数据并进行数据预处理。然后,将预处理后的图像数据和点云数据融合,实现点云“着色”,基于点云“着色”提出聚类感兴趣密度区域算法。利用“着色”点云完成聚类,并结合作物种植农艺标准(行距),分别验证点云信息和颜色信息的可用性,能够选择最优信息完成作物行感兴趣区域聚类。最后,通过划分点云水平条带的方式确定目标点云的特征点聚类区域,取作物行特征点,并利用最小二乘法拟合作物行检测线。仅需调整行距参数,算法可实现全生命周期的作物行检测,利用正常工况下玉米苗期、前期、中期和后期数据开展算法验证,作物行中心线平均误差不大于1.781°,准确率不小于92.69%,平均耗时不超过102.7 ms。此外,为验证算法鲁棒性,开展了复杂农田背景环境,如高杂草背景、断行、苗期杂草高度与玉米高度相近以及玉米完全封行4种工况作物行检测,算法平均误差不大于1.935°,准确率不小于91.94%,平均耗时不超过108.3 ms。通过讨论阐述了基于点云“着色”开展作物行中心线提取的优越性,本文算法可为作物行中心线可靠检测提供参考。

Performance Analysis in Cloud Radio Access Networks:User-Centralized Coordination Approach

The cloud radio access network(C-RAN) has recently been proposed as an important component of the next generation wireless networks providing opportunities for improving both spectral and energy effi ciencies. The performance of this network structure is however constrained by severe inter-cell interference due to the limited capacity of fronthaul between the radio remote heads(RRH) and the base band unit(BBU) pool. To achieve performance improvement taking full advantage of centralized processing capabilities of C-RANs,a set of RRHs can jointly transmit data to the same UE for improved spectral effi ciency. In this paper,a user centralized joint coordinated transmission(UC-JCT) scheme is put forth to investigate the downlink performance of C-RANs. The most important benefit the proposed strategy is the ability to translate what would have been the most dominant interfering sources to usable signal leading to a signifi cantly improved performance. Stochastic geometry is utilized to model the randomness of RRH location and provides a reliable performance analysis. We derive an analytical expression for the closed integral form of the coverage probability of a typical UE. Simulation results confirm the accuracy of our analysis and demonstrate that significant performance gain can be achieved from the proposed coordination schemes.

基于图像与点云融合的巷道锚护孔位识别定位方法

煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。

面向室内场景三维重建的分区联合双边滤波方法

基于RGB-D传感器的三维重建在高精度制图中应用广泛,然而深度相机采集的图像存在深度值缺失和噪声等问题,影响了三维点云建图的准确度。针对此问题,提出分区联合双边滤波算法。该算法依据深度图像和灰度图像的左右差异分析像素置信度,并对深度图像中缺失像素做插值处理,实现了对图像基于置信度的分区联合双边滤波。采用Middbur标准数据库和Fast Sensor Motion Dataset数据集进行定性分析和定量对比,证明分区联合双边滤波算法有效平滑了噪声。将该算法应用于三维重建,实验结果表明该算法有效修复了深度图像,提高了三维点云建图和位姿估计的精度。

基于激光雷达与深度相机融合的行人检测方法

针对二维激光雷达在检测行人位置时,因缺少高度信息导致对行人特征识别不准确,易产生误判的问题,提出一种基于二维激光雷达与深度相机联合检测的行人识别方法。使用支持向量机(SVM)筛选出激光雷达点云数据中属于行人腿部曲线的点云段并以此确定行人位置;视觉图像中引入人体识别算法框选行人,利用人体外边框中心点处图像坐标和深度值解算行人位置。将雷达与相机获得的行人位置信息加权融合得出行人实际位置。实验结果表明,所提方法在继承激光雷达测量精度的同时,极大地减小了误判率,证明该方法的有效性。

能量感知的点云视频流传输与边缘卸载联合优化

针对点云视频流媒体传输需要调度各类计算和传输资源,而现有工作较少考虑终端显示设备的计算任务带来的能耗问题,提出了一种移动边缘计算辅助的点云视频流传输方案,根据接入带宽和点云视频内容将部分计算任务从终端卸载到边缘完成。该方案建立了一个联合优化模型,在网络资源、终端和边缘算力资源的约束下,最大化用户观看体验收益并最小化终端设备能耗。实验表明,相比于对比方案,所提方案在不同条件下均可提升用户观看质量并降低终端设备能耗。

基于三维扫描技术的钢轨接头自动建模与病害识别研究

随着铁路事业的迅速发展,我国对钢轨检修和维护的需求日益增加。为了提高钢轨检修的效率和准确性,本文基于数字化钢轨模型的建立,运用三维扫描设备对钢轨接头进行扫描,获取图像点云数据,处理和拼接点云数据,并建立BIM模型,实现钢轨接头病害的自动识别。通过可视化呈现钢轨接头,能够有效识别主要病害类型及误差数据,对钢轨接头病害进行评估,真实反映钢轨接头、接头夹板及螺栓等部件的病害情况,为铁路钢轨养护和维修工程的信息化和科学化管理提供借鉴。

基于改进ICP算法的点云拼接方法

针对角度变换较大的两组点云模型因非完全包含关系导致的拼接误差大的问题,提出了一种改进的迭代最近点(ICP)拼接算法。计算点云数据的法向量大小,提取变化较大的点作为预参考点,并优化点云拼接策略得到点云粗拼接模型。基于此模型,对对应点对施加曲率和点距双重约束,得到精确对应点对,即对点云数据进行精确拼接。实验结果表明:算法对角度差异较大模型的拼接处理,能够在完好融合共有部分的同时比较完整地保留两组点云之间互不包含的数据。

基于机器视觉三维重建技术的隧道掌子面岩体结构数字识别方法及应用

提出采用数字图像结合机器视觉方法获取隧道掌子面岩体表观信息。通过采集隧道开挖面的序列图像,生成开挖面岩体表面的三维点云模型,利用投影算法获得隧道掌子面及硐壁岩体结构的平面模型高清影像;基于影像表面结构迹线素描结果进行岩体节理特征的量化描述。将该方法应用于东天山公路隧道开挖面岩体节理分布、节理倾角间距等特征参数的获取。研究结果表明:该方法可快速生成开挖面三维点云模型,实现隧道地质信息编录与围岩级别辨识,具有快速、准确的优点,可为施工提供参考。

基于点云数据对齐技术的岩体结构面三维吻合度求取

为了更好地描述岩体结构面的吻合程度,引入点云数据对齐技术,计算获得岩体结构面三维吻合度参数(JMC3D)。采用三维激光扫描技术,获取岩体结构面上下盘点云数据,基于迭代最近算法(ICP),将结构面参考面和测试面点云数据统一到全局坐标系中并实现对齐,计算对齐后的测试面与参考面之间的Z坐标高差;然后,将高差位于对齐误差区间的点云数据作为吻合部分予以定量化,计算岩体结构面上下盘吻合面积百分比,从而获取三维吻合度参数。最后,根据JRC-JMC模型公式求取岩体结构面剪切强度,与室内岩体结构面直剪试验结果对比分析进行方法验证。4组试验对比结果误差分别为7.38%、3.21%、9.03%、10.02%,表明基于点云数据对齐技术求取的岩体结构面三维吻合度具有一定可行性和实用性,同时也进一步印证岩体结构面三维吻合度与剪切强度之间的相互联系。

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。

采用自适应背景聚类的激光雷达与相机外参标定优化方法

针对在复杂外部环境下激光雷达外参标定过程中遇到的标定板三维点云提取不准确的问题,提出一种基于背景聚类的激光雷达和相机外参标定优化方法,避免了在整个三维点云中盲目检测标定板点云,而导致标定结果存在较大误差以及需要人工手动纠正错误特征点的问题。该方法利用无标定板的背景点云与有标定板的目标点云之间部分空间域内的密度差异性,通过自适应空间阈值模型获得标定板点云与背景点云之间的差异系数K,然后聚类两点云中的部分三维点,完成标定板的三维点云提取。实验证明,该方法可以在复杂环境中准确高效地提取标定板三维点云,从而提高激光雷达和相机外参标定的准确性,在此基础上点云正确投影比例可达97.43%,与对比方法相比投影误差降低25.33%左右。

利用TLS技术测定闭合节理直剪试验剪切面面积

针对现行直剪试验中未考虑剪切面"闭合不规则空间曲面"特性对剪切面面积测定的影响,提出了一种基于地面三维激光扫描(Terrestrial Laser Scanning,TLS)技术的闭合节理直剪试验剪切面面积测定方法.该方法首先通过三维激光扫描仪获取岩石试样的三维点云数据,然后进行点云去噪和提取岩石剪切面轮廓点云数据,接着由剪切面轮廓点云数据拟合最佳投影面,计算轮廓点云在投影面上的投影点集及其各点投影坐标,最后利用逐点插入的Delaunay三角剖分算法获得轮廓点云投影点集的凸包,凸包三角形面积和即为剪切面的面积.实验结果表明:基于TLS的闭合节理直剪试验剪切面面积测定方法操作简单,且面积计算精度高,适用于任意形状闭合节理面的剪切面面积计算.

基于点云的地铁盾构隧道环内管片错台量与接缝张开量检测方法

目的:地铁盾构隧道施工作业不规范或运营期荷载的变化,会产生管片错台与接缝张开,严重时导致隧道渗水漏沙,需快速准确地检测环内管片错台量与接缝张开量,因此提出一种基于点云的快速全面的检测方法。方法:介绍了提取中轴线的旋转投影法及具体计算步骤;研究了基于点云的地铁盾构隧道环内管片错台量与接缝张开量检测方法;结合北京地铁某工程,采用该方法进行了环内管片错台量及张开量检测。结果与结论:所提检测方法为:采用旋转投影法获取高精度中轴线,根据中轴线展开管片三维点云,分析管片拼接处附近点云空间关系实现环内错台及接缝张开量的检测。实例验证结果表明:该方法实用性强,能满足检测要求;与常用的双向投影法相比,旋转投影法中轴线拟合精度更高,最合适的旋转投影次数为3次。

基于PolyWorks和COMET 250点云数据的生成和拼接

点云数据的生成和拼接是逆向工程中的关键技术之一。本文以鼠标器为例介绍了利用Comet 250非接触式三维光学扫描仪生成点云数据和PolyWorks软件进行点云数据拼接的方法过程，并分析了点云数据生成和拼接过程中影响其精度和完整性的因素及解决办法。

基于多视角立体视觉的拔节期玉米水分胁迫预测模型

针对现有采用生理特性指标的玉米水分胁迫检测方法影响玉米植株生长的问题,提出了一种基于多视角立体视觉的玉米水分胁迫预测模型。首先,利用RGB相机获取玉米拔节期-30°、0°(玉米叶片展开平面)和30°的3视角图像;然后,基于加速稳健特征点(Speeded up robust features,SURF)检测的双目立体视觉原理,建立-30°~0°、0°~30°2个玉米点云模型,采用基于KD树(K-dimensional tree,Kd-tree)的最近迭代(Iterative closest point,ICP)点云配准算法,将2个玉米点云模型数据合并到同一坐标系下;最后,用L1-中值法提取玉米点云骨架,在该玉米骨架基础上提取玉米节间高度、叶片长度及株高等参数,建立基于单一参数的玉米水分胁迫预测模型,并建立基于多参数纠错输出编码思想的支持向量机(Error correcting output codes-support vector machine,ECOC-SVM)水分胁迫预测模型。试验结果表明,玉米叶片长度、节间高度和玉米株高每日生长量与水分胁迫程度呈显著线性关系,故分别以节间高度、株高每日生长量和全展叶叶长为自变量,以土壤含水率为因变量,建立水分胁迫预测模型,得到相关系数分别为0.8922、0.8928和0.8176,RMSE分别为2.92%、2.53%和2.76%。为了准确判断玉米水分胁迫程度,以上述3个玉米参数为特征向量,建立ECOC-SVM水分胁迫预测模型,该模型测试集预测准确率为93.33%,具有较高的准确性。本研究可以快速检测拔节期玉米的水分胁迫情况,为农情信息精准获取提供技术支持。

基于逆向工程的个性化人工关节三维CAD数模的建立

通过螺旋CT扫描人体股骨关节,得到二维断层图像数据,利用数据处理软件将二维图片转换成三维点云数据,继而依据点云数据,采用计算机三维重构技术,构建了股骨的三维CAD数字模型。

三维人手关节点的提取研究

近年来,以计算机为载体的人机交互愈发成为人们日常生活中的一个重要组成部分,人手作为仅次于语言的交流方式,有着不可或缺的作用,在人机交互中作为主要媒介有着重要的研究价值;针对在三维手势的多样性问题,在关节点的提取上基于特征匹配提出了一种新的关节点提取研究方法:跨维匹配-即二维数据与三维数据之间的匹配;在立体视觉手势交互的基础上,算法首先用kinect相机采集带有关节点标记的彩色图像和三维点云,然后通过特征点提取,获得手势点云指尖部分的坐标,最后进行匹配得到手势关节点的三维坐标;实验表明采用该方法来提取人手的关节点是可行的,并且在手势关节点的提取效果上也很精确,对研究手势的多样性有着非常重要的作用。