复杂场景下多模态点云数据配准技术

针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问题,利用所提出的基于控制点辅助约束的最近点迭代(CPA-ICP)算法通过对点云数据进行配准,并与其他3种点云配准算法的试验进行对比,可知该方法的配准精度和配准效率较高,对复杂场景下的多模态点云数据融合有较好的参考意义。

图像语义特征引导与点云跨模态融合的三维目标检测方法

受到场景的复杂性和目标尺度变化、遮挡等影响,三维目标检测仍面临着诸多挑战.虽然跨模态特征融合图像和激光点云信息能够有效地提升三维目标检测性能,但在融合效果和检测性能上仍有待提升,为此,提出图像语义特征引导与点云跨模态融合的三维目标检测方法.首先设计图像语义特征学习网络,采用双分支自注意力并行计算方式,实现全局语义特征增强,降低目标错误分类;然后提出图像语义特征引导的局部融合模块,采用元素级数据拼接将检索的图像局部语义特征引导融合点云数据,更好地解决跨模态信息融合存在的语义对齐问题;提出多尺度再融合网络,设计融合特征与激光雷达点云交互模块,学习融合特征和不同分辨率特征间的再融合,提高网络的检测性能;最后采用4种任务损失实现anchor-free的三维目标检测.在KITTI和nuScenes数据集中与其他方法进行对比,针对三维目标检测准确率达87.15%,并且实验结果表明,文中方法优于对比方法,具有更优的三维检测性能.

一种基于残差MLP的多模态点云分类网络

针对PCT等先进点云算法存在模态单一、特征提取器复杂、参数量大、计算效率低等问题,提出一种精简快速的多模态点云分类网络Res-CLIP。将ResMLP-PC与CLIP结合,通过学习多模态信息提高主干网络性能和迁移学习能力,使用残差MLP提高算法效率;将仿射变换模块融入主干网络提高算法精度。排水管道缺陷数据集实验结果表明:与PCT等算法相比,ResMLP-PC算法的精确率、召回率均有提升,且参数量减少近50%,检测速度提升23%。Zero Shot实验结果表明:与现有多模态点云网络相比,Res-CLIP算法在2类公开数据集上的Zero Shot精度均较优,比ULIP相比分别提升4.6%、0.5%。

融合图像信息的跨模态Transformer点云补全算法

针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全,需要进行补全处理,而单模态方法存在的补全结果细节不丰富、结构不完整等问题,提出一种融合图像信息的跨模态Transformer点云补全算法.首先采用点云分支和图像分支分别提取点云特征和图像特征,其中,点云分支采用PoinTr为骨干网络,图像分支采用7层卷积;然后通过特征融合模块融合点云特征和图像特征,由粗到精地生成全分辨率的点云.在ShapeNet-ViPC数据集上进行实验的结果表明,所提算法的可视化结果优于单模态点云补全方法和目前仅有的跨模态点云补全方法ViPC,且在大部分测试类别上的CD-L_(2)量化指标优于ViPC;平均CD-L_(2)为2.74,比ViPC低17%.为了便于研究人员评估和使用,文中算法可通过https://github.com/Starak-x/ImPoinTr开源获取.

某型号运载火箭发射场模态试验技术

目的在取消传统的自由-自由状态全箭模态试验的前提下,通过发射场自由-固支状态模态试验获取某型号运载火箭的模态参数,为火箭总体设计提供依据。方法基于成熟型号相同部段的仿真模型和模态试验数据基础,建立高精度的全箭三维动力学模型,预示结构模态参数,为发射场模态试验的激励方案和测量方案等提供指导。通过多点全相干步进正弦激励模态试验方法,运用测试得到的“伪频响函数”进行参数识别,从而获取结构的模态参数。结果获得了发射场竖立状态下全箭前4阶弯曲模态和1阶扭转模态,基于“伪频响函数”的识别结果与真实频响函数的识别结果频率最大偏差为0.82%,阻尼比最大偏差为1.89%。结论某型号运载火箭的发射场模态试验为火箭总体设计提供了关键参数,型号首飞成功验证了该技术的可靠性,也为获取火箭模态参数开辟了一条新的路径。

简支梁桥模态试验测点布置方式研究

《公路桥梁荷载试验规程》仅规定了桥梁模态试验时最少测点布置方式,导致模态试验数据在桥梁运维中利用率不高.为了揭示桥梁损伤与模态试验数据间的关系,基于结构动力学和损伤力学基本理论,以简支梁桥为研究对象,构建模态柔度曲率、模态柔度差曲率、模态柔度曲率差及模态柔度均值曲率差改变率等基于模态柔度矩阵的损伤识别指标,在此基础上对模态试验时拾震器的布设方式及模态数据的阶数对识别效果的影响进行研究.结果表明:模态试验时按主梁16等分布设拾振器得到的模态数据能较好完成结构的损伤识别;识别指标宜采用模态柔度曲率差;高阶模态的测试数据对损伤识别影响不明显,简支梁桥利用一阶模态试验数据构件的识别指标就能较好识别出结构的损伤.

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

基于视锥的多模态融合目标检测算法

三维目标检测准确且轻量化,是移动智能机器人感知模块的关键部分。本文提出一种基于视锥的多模态融合目标检测算法F-ResPoint。它是一种轻量化的二阶段目标检测算法,是根据二维目标的检测结果,生成包含目标对象的视锥点云,再利用基于Residual-SA模块构建的点云检测网络,对视锥点云中的三维目标进行检测。实验表明:该方法在轻量化的前提下,可实现较高的检测准确率及较好的实时性。

跨模态特征融合模板驱动的盾构隧道管片孔缝智能识别

基于点云的隧道数据处理方法已逐步替代人工用于盾构管片接缝识别中。但常规点云处理算法提取螺栓孔和接缝时会存在因附属设施遮挡造成错误识别的问题,导致目标识别精度降低。针对此问题,以广州2003年开通的某地铁线路某段地铁隧道数据为例,提出一种跨模态特征融合模板驱动的盾构隧道孔缝识别方法。首先将隧道断面点云的几何中心作为视点,以扫描测线为单元进行逐测线投影生成隧道二维图像;然后通过Canny边缘检测和Hough变换缓冲识别纵缝,对二维图像进行环片分割,并基于双模板匹配实现盾构环分类,依据环片模板进行螺栓孔和横缝的粗定位;最后利用螺栓孔点云DBSCAN聚类后的中心坐标对环片模板进行精校正,实现盾构隧道管片孔缝智能识别。研究结果表明:该方法在附属设施遮挡干扰等情况下能较好地实现孔缝精确识别。其中,设计的基于局部形态特征双模版驱动的盾构环片分类方法,可实现盾构环片的精确分类;设计的顾及盾构管片空间位置关系的孔缝识别方法,可有效提升孔缝识别精度。在识别率与耗时相近的情况下,本方法比同类方法识别精度更高,平均偏差更少,具有更好的准确性和鲁棒性。该方法将盾构隧道三维点云和二维点云投影图像进行数据特征融合的同时,能够顾及局部形态特征凭借双模板实现盾构环片的精确分类以及依据盾构管片的空间位置关系进一步提高孔缝识别精度。研究结果为进一步自动化精准识别盾构隧道接缝和螺栓孔目标信息提供参考。

自动驾驶场景下的多模态3D目标检测算法

针对当前自动驾驶邻域中单模态3D目标检测算法在感知受限场景下检测精度不足的问题,文章提出一种用于动态融合图像和点云两种异构模态特征的多模态算法。具体来说,设计了一个基于交叉注意力机制的RoI特征融合模块CARF,在点云和图像的RoI特征之间执行注意力计算,以聚合像素级别的细粒度特征,并在特征融合过程中增强异构特征语义一致性,提升特征表达能力。在KITTI数据集上的实验结果显示,与先进的单模态和多模态方法相比,该方法展现出明显的性能优势,特别是在感知能力受限的场景中,如远距离和遮挡条件下,检测精度得到了显著的增强,证明了本文提出方法的有效性。

基于局部测点模态测试的简支梁桥承载刚度评定试验研究

快速可靠地检测服役桥梁的承载刚度对保障道路交通线路的安全运营具有重要意义。文章提出一种基于局部测点模态测试的简支梁桥承载刚度评定方法,并以某实际工程中一座简支梁桥为试验对象,对所提方法的可行性和准确性进行验证。设计传统桥梁荷载试验的中载和偏载加载方案,测得各工况下简支梁桥跨中截面的实测静挠度,基于环境激励进行联合测点模态试验和局部测点模态试验,预测简支梁桥跨中截面的模态挠度,并结合桥梁理论挠度计算结构挠度校验系数。结果表明:中载、偏载工况下联合测点模态试验预测的跨中截面模态挠度与静载试验跨中截面实测静挠度的相对误差最大不超过5.7%,基本满足工程精度的要求;联合跨中截面测点和桥面加载点测点的联合测点模态试验能够准确评估桥梁的承载刚度;仅在跨中截面布置传感器的局部测点模态试验预测的模态挠度基本等价于联合测点模态试验预测的模态挠度,两者的相对误差小于2%,局部测点模态测试预测的跨中截面挠度校验系数与静载试验的实测挠度校验系数相比具有很好的一致性。

基于MATLAB的天伺馈模态分析

依据天线指向计算、伺服控制等算法,通过MATLAB分别建立天线指向计算中自主推算、直接注入模型、伺服控制中计算速度控制量模型及天线运动方式三种算法验证模型,并对各模型理论模态和实际样例数据进行模态分析。分析结果表示,基于MATLAB建立的天线伺服模型是正确的,天线运动趋势验证方法是可行的。此模型推算结果可有效对算法算例进行佐证,模态分析提供了大量的运动样本数据及相应参数下的天线运动趋势,不仅有利于测试人员更快掌握天线伺服算法理论知识,还能为雷达天线座及伺服系统动态研究提供理论支持。

海上风电大直径单桩基础设计要点及实例分析

针对目前海上风电机组大型化、离岸距离和水深不断增加、单桩基础结构桩径壁厚不断增长的现状,单桩基础结构设计输入条件更为严苛,控制标准基本处于极限,大直径单桩基础设计要点和优化控制技术成为降本的关键因素。本文依托海南省某海域海上风电场的大直径单桩基础设计实践,基于目前业内最常用的迭代优化设计方法,从海上风电大直径单桩基础的设计流程、要点和工程实例3个方面展开研究和分析。研究证明,在风机整机频率、设计环境数据以及桩土本构模型等方面都存在降载降本空间,可为后续同类项目提供有益参考。

基于改进变分模态分解的供水管道单测点泄漏检测定位方法

为克服传统负压波技术用于供水管道泄漏检测定位时,只能对2个传感器之间的管段进行检测与定位的不足,将压缩波和流体波引入检测和定位过程中,同时为了提升漏点定位精度,提出一种基于变分模态分解和Teager能量算子相结合的泄漏初始时刻计算方法。该方法首先采用VMD将被测信号分解为多个IMF,再将各个IMF和参考信号进行互相关处理和均方差计算,建立目标函数;然后通过设定阈值剔除大部分噪声,并对经过初步去噪后的信号所对应的模态分量进行重构,最终实现信号降噪。为验证该方法的有效性,对不同材质的管道进行泄漏工况模拟仿真,其结果表明:该方法对泄漏初始时刻计算误差较小,漏点定位精度较高;对PVC管泄漏定位的相对误差为0.49%,对钢管泄漏定位的相对误差为0.14%。

基于深度学习方法的4D毫米波雷达点云人体关键点检测

人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响,还可能会在室内环境中引发隐私问题,可穿戴设备的方法则不适用于非合作目标。基于此,提出了一种基于4D毫米波雷达点云的人体关键点检测方法,分析了使用毫米波点云进行关键点检测存在的问题。为了解决这些问题,提出了毫米波人体关键点检测(Millimeter Wave Human Pose Detection,mmWPose)系统;为了便于提取点云特征,设计了一种二维化方法用于处理点云数据,可以显著减少模型在特征提取阶段的参数量;为了进行数据标注,运用跨模态监督来训练目标模型;为了增强目标模型的泛化能力,设计了一个域适应模块协助目标模型分辨点云数据中属于环境的特征。实验证明,研究提出的mmWPose系统能够解决毫米波点云存在的问题,实现高精度的人体关键点检测。

一种分层Mean Shift目标跟踪算法

针对经典Mean shift(MS)目标跟踪算法的颜色特征鲁棒差、匹配迭代复杂的缺点,提出一种分层Mean shift (Hierarchical mean shift,HMS)目标跟踪算法.首先通过MS迭代将目标区域特征空间的数据点聚类于模式点,使得以简洁的方式描述前景跟踪目标,建立目标模型与目标候选模型的聚类模式点描述,进行聚类块匹配.然后,导出聚类块模式点匹配下的相似度量函数,进行像素点匹配,结合邻域一致性,计算像素平移量,分层估计序列帧中跟踪目标质心模式点的位置,并给出HMS匹配迭代跟踪算法.实验结果表明,与其他两种MS跟踪算法相比,HMS既能提高序列帧跟踪目标表达与匹配的鲁棒性,又无需匹配所有数据点,算法简洁且有效可行.

基于预试验(Pre-test)的车身动态性能模态试验方法

介绍一种基于预试验(Pre-test)的车身动态性能试验方法。首先介绍了Pre-test的理论及激励点与响应点选取原则和流程,通过Lms.Virtual.Lab的预试验功能实际确定车身试验模态中响应点的数目,位置及激励点位置和方向,并通过与Lms.Test.Lab的接口功能,导入到Test.Lab进行模态试验,通过合适的试验模态方法与参数的选取,得到准确清晰的模态辨识结果,验证了基于Pre-test的车身动态性能试验模态分析方法的正确性。

一种基于奇异值分解技术的模型定阶方法

模态参数识别中模型阶次的确定非常重要。基于奇异值分解技术,探讨模型阶次的确定方法,提出了利用奇异值的相对变化率来确定模型的阶次。该方法利用结构的量测脉冲响应信号构造Hankel矩阵,对其进行奇异值分解后计算奇异值的相对变化率,变化率最大的地方对应着模型的阶次。通过数值算例研究了噪声因素对模型阶次确定的影响,并利用模型实验数据验证了该方法的有效性。

基于二轴车过桥振动响应的桥梁模态特性识别方法研究

为采用移动车辆过桥振动信号间接识别桥梁模态特性参数,达到快速检测路网桥梁群健康状况目的,研究了常规二轴车用于桥梁频率与模态振型同步识别方法。首先,理论推导了忽略车桥耦合效应情况下二轴车过桥的车桥接触点振动响应封闭解,通过前后车轴振动加速度响应的时滞信号相减构建接触点残余响应,应用双峰理想谱滤波和希尔伯特变换建立了同步识别桥梁频率与模态振型方法。其次,建立了车桥耦合振动数值有限元仿真程序,在考虑车桥耦合效应基础上验证了理论推导的准确性,并同步识别了桥梁频率与模态振型。最后,考虑更不利的路面粗糙度情况,检验了二轴车接触点残差响应的间接识别效果。研究表明在忽略车桥耦合效应情况下接触点残差响应不包含车辆和路面粗糙度影响,可以精准识别桥梁模态特性参数。数值有限元仿真证明通过车体响应间接计算接触点响应、通过桥梁节点插值计算接触点响应以及理论推导三者结果高度吻合,在路面粗糙度等级低的情况下该方法有很好效果。当粗糙度更为不利时,车桥耦合效应明显导致接触点响应残差中仍然包含车辆频率成分,对识别效果有一定干扰。采用接触点残余响应进行桥梁模态特性识别时,建议降低检测速度或优化试验车构造,抑制车桥耦合效应的不利影响。

基于表面解剖特征的人头部计算机断层与磁共振图像双模态融合

目的探讨基于解剖标记的点配准在人头部CT及MRI双模态配准精度。方法 4例患者行CT及MRI扫描,将扫描数据导入3D Slicer 4.8.1以体素渲染方式进行三维重建。在10个备选的体表解剖特征点中,基于各点的5次定位误差在CT和MRI图像上选出相对应8个的解剖部位标记点坐标,按标记点数分为4、5、6、7、8个标记点组。利用奇异值分解(SVD)算法对两个模型进行对应点配准,利用标记点配准误差(FRE)对配准精度进行评估。结果双模态融合误差的FRE为2.68~6.54 mm。4、5、6、7、8个标记点组分别为(5.14±0.97)mm、(4.71±0.64)mm、(4.45±0.59)mm、(4.13±0.55)mm、(3.54±0.72)mm,相邻组间差异无统计学意义,8个标记点的FRE与4个标记点的FRE相比差异有统计学意义(P<0.05)。结论面部表面的解剖学特征可用于CT-MRI的双模态融合;CT-MRI的双模态融合FRE随着标记点数的增加而减小。