基于改进PointPillars的3D目标检测算法

针对自动驾驶场景下远距离及遮挡目标识别问题,对PointPillars算法进行了改进。引入了并行的空间注意力和通道注意力机制,增强了目标的位置信息及有用特征通道权重,提高了远距离目标的检测精度。在2D CNN骨干网络中引入了自适应空间特征融合模块,解决了特征拼接的信息丢失问题,提高了遮挡目标的检测精度。基于KITTI数据集在3种不同场景难度下分别对SECOND、PointPillars、改进PointPillars这3种算法进行了定量分析验证,并将改进的PointPillars算法进行可视化分析。定量分析表明,改进PointPillars算法在鸟瞰图模式下目标检测精度最大提升2.75%;在三维模式下目标检测精度最大提升2.93%;在AOS模式下目标检测精度最大提升4.05%,可视化结果表明改进的PointPillars算法能有效检测远距离及遮挡目标。

多尺度特征融合对比学习结合PointMetaBase的点云分割

点云场景边界的精确分割对提升三维点云整体分割精度和小目标的分割精度都非常重要。针对现有三维点云语义分割算法中存在的对点云场景边界分割不准确的问题,设计了一种新的多尺度特征融合对比学习方法,并将其集成到PointMetaBase网络上,提出了MFFCL-PMB三维点云语义分割网络。该网络将解码器各层的输入和输出平行多路径地输入多尺度特征提取网络,其次将多尺度特征进行拼接融合,最后由边界搜索模块确定点云场景边界点,在边界点对应的多尺度融合特征上进行对比学习,使网络学习到使特征区分度更大的权重。MFFCL-PMB在数据集S3DIS的测试集区域5上的mIoU为70.9%,相比原始的PointMetaBase,在边界上的mIoU增加了1.4%,内部区域mIoU增加了1.2%,总体mIoU增加了1.2%,边界mIoU增量比内部区域增加的mIoU更大,说明MFFCL-PMB有效增强了PointMetaBase在边界上的分割表现并提高了网络在点云总体上的语义分割性能。

基于KINECT FUSION的室内目标三维重建系统

三维重建是计算机科学领域研究的热点,从一门尖端且难以摸索的学科到逐步与大众市场接轨,三维重建技术渐渐地融入到人们的工作、学习和生活当中。以微软公司推出的Kinect传感器为代表的深度图像采集设备被普遍采用到三维重建领域,基于Kinect Fusion的三维重建技术在该领域得到了广泛的应用。Kinect Fusion是一种操作简便、速度较快且成本低廉的三维重建方法,使用Kinect传感器作为采集深度图像的输入设备,经过对原始深度图像的去噪、平滑以及表面重建等一系列方法,最终可以获得目标物体在三维空间中的点云模型。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

Interplay Between Scission-Point Model and Experimental Data for Sub-Barrier Fusion-Fission

The fragment angular distributions of fusion-fission reactions for the systemsof 16O+232Th,19F+232Th and 16O+238U at near-and sub-barrier energies were measured.The measured fragment anisotropies obviously deviate from the predictions ofscission-point transition-state model.We also compared the excitation energy of tiltingmode with the statistical assumption.It was found that thermal equilibrium is not estab-lished at scission for the reactions studied.

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

基于区域预推荐和特征富集的SOD R-CNN交通标志检测网络

基于区域的快速卷积神经网络存在资源的浪费和无法有效应对小目标检测的问题,提出基于高可能性区域推荐网络及特征富集的区域的小目标检测卷积神经网络架构。首先,采用区域推荐网络对锚点区域进行筛选,节约分类阶段的处理时间,提高了系统的处理速度。其次,为了解决无法有效检测小目标的问题,提出了融合视觉几何组16层网络的第三、第四、第五层特征信息的方法来强化特征表达的策略。最后,提出次要感兴趣区域的概念,将交通标志的上下文信息融合到目标特征表达中。这些策略提高了目标检测的准确率和速度。

基于多视角三维点云融合的采棉机器人视觉感知方法

针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93 cm,平均配准时间为0.025 s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85 f/s,满足采棉机器人感知系统实时性需求。

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.

基于移动多线激光雷达扫描的树冠叶面积估计方法

移动单线激光雷达(Laser detection and ranging,LiDAR)扫描(Mobile single-layer LiDAR scanning,MSLS)树冠叶面积估计方法使用单一视角的单线激光雷达采集树冠点云数据,获取的冠层信息不够全面,限制了树冠叶面积估计精度。本文提出一种基于移动多线LiDAR扫描(Mobile multi-layer LiDAR scanning,MMLS)的树冠叶面积估计方法,使用多线LiDAR从多个视角采集树冠点云数据,提升树冠叶面积估计精度。首先,将多线LiDAR采集的点云数据变换到世界坐标系下,通过感兴趣区域(Region of interest,ROI)提取出树冠点云。然后,提出一种MMLS树冠点云融合方法,逐个融合单个激光器采集的树冠点云,设置距离阈值删除重复点,添加新点。最后,构建MMLS空间分辨率网格,建立基于树冠网格面积的树冠叶面积估计模型。实验使用VLP-16型多线LiDAR传感器搭建MMLS系统,设置1、1.5 m 2个测量距离和间隔45°的8个测量角度对6个具有不同冠层密度的树冠进行数据采集,共得到96个树冠样本。采用本文方法,树冠叶面积线性估计模型的均方根误差(Root mean squared error,RMSE)为0.1041 m^(2),比MSLS模型降低0.0578 m^(2),决定系数R^(2)为0.9526,比MSLS模型提高0.0675。实验结果表明,本文方法通过多线LiDAR多视角树冠点云数据采集、MMLS树冠点云融合和空间分辨率网格构建,有效提升了树冠叶面积估计精度。

地面激光扫描点云与无人机影像点云融合应用

通过建立高精度的桥梁三维点云模型,检查桥梁病害情况并拟合绘制出桥梁线形。首先以无人机近景摄影、环绕飞行、井字飞行获取某双线特大桥梁主体与细部纹理数据,然后将不同航线采集的数据在Context Capture软件里面进行三维重建,将桥梁主体与细部影像融合生成完整桥梁点云1。运用Trimble SX12仪器完成对桥梁一体化扫描,获得完整桥梁点云2。提出基于双向KD-tree优化的ICP(Iterative Closest Point)算法对无人机航摄桥梁点云1与地面激光扫描桥梁点云数据2进行配准融合,加密后的桥梁点云用于建立运营铁路双线特大桥精细化三维实景建模。提出基于KD-tree的PCA(Principal Component Analysis)算法完整提取出桥梁吊索点云,运用最小二乘法拟合出桥梁拱轴线线形、RANSAC算法拟合出桥面线形。通过与单一无人机、单一地面激光扫描精度及完整性对比分析,以验证融合建模的有效性。研究结果表明:融合建模的模型水平精度1.71 cm、垂直方向精度1.25 cm,较单一无人机建模精度在水平与竖直方向分别提升16.59%与20.89%;融合建模的完整性为98.17%,纹理效果更加真实,并检查出桥墩存在蜂窝麻面、渗水等病害,拱肋存在涂装锈蚀、破裂等病害。该研究可为桥梁三维点云模型应用研究提供思路参考,具有较好的应用前景。

基于消失点引导透视变换的车道线检测算法

目的为解决车道线的位置会随着车辆或相机的偏移发生变化而导致车道线检测准确率低和适应性差的问题,提出了一种基于消失点引导透视变换的车道线检测算法。方法首先,采用自适应消失点坐标引导更新透视变换矩阵,将车道图像转换为车道线保存完整的鸟瞰图;其次,将其颜色特征和边缘特征进行融合,得到精准的二值化图像;最后,根据直方图分析定位车道线的基点,采用滑动窗口搜索的方法提取候选的车道线像素,然后对搜索到的车道线像素进行多项式拟合。在不同的道路场景下测试算法的性能,并与其它同类算法进行对比分析。结果仿真结果表明,算法的准确率为94.12%,平均每帧耗时85.35ms,在检测精度和速度方面优于对比的算法。结论该算法能有效解决车道线位置的改变对车道线检测性能的影响,具有更高的准确率和较好的适应性,在阴影遮挡、车道破损、恶劣天气等复杂道路环境的检测下,表现出良好的鲁棒性。

自然环境下苹果点云多维度特征分割方法研究

为了解决自然环境下苹果果园复杂场景及光照变化对果实精准定位和空间形态评估带来的困难,对基于多维度特征的苹果点云分割方法进行了研究。研究中,通过融合欧氏距离、曲率分析和颜色特征创建苹果点云分割掩膜,对苹果点云进行分割;引入K-D Tree进行聚类修正,拟合后获取最终果实空间全面信息。试验结果显示:在自然果园环境下,该方法在逆光、顺光和侧光条件下分别取得了96.20%、97.67%和97.93%的分割纯净率,与仅基于欧氏距离或颜色特征的单一特征分割方法相比,该方法的纯净率分别提高了37.57%和14.53%,且聚类误分问题得到有效解决。该方法具有良好的鲁棒性和精确性,可为苹果智能化采摘作业的精确性和可靠性提供技术支持。

基于多传感器融合的系统自我定位与地图重建

在图优化框架的基础上,设计多传感器融合方案和有效的优化方法,提出一套具有鲁棒性的定位与建图(Simultaneous Localization and Mapping,SLAM)方案,能够有效应对室内外复杂环境。进一步发展激光-视觉后端建图融合方法,构建具备全新地图表达形式的点云网格化地图。同时使用低成本传感器,设计实现基于多传感器融合的高性能低成本背包扫描系统,整体完成在未知环境中的自我定位和稠密建图,且在低性能CPU设备上将长时间运动带来的每100 m的轨迹误差平均降低至厘米级。提出的基于多传感器融合方案,在精度、算力消耗上能够匹配现有主流方案,对获取各种环境条件下的系统准确定位结果和丰富的空间信息具有重要意义。

可变形特征融合的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,提出一种基于可变形特征融合的三维车辆检测算法。首先,通过路面实况增强算法,提高收敛速度和性能;去除地面点云,减少无关点云的干扰。接着,构造可变形特征融合模块,自适应对齐不同模态数据之间的姿态和位置信息,提升多模态数据的利用效率;优化损失函数,添加对抗损失判断车辆运动的真实性,提高网络对小目标的检测精度。最后,通过训练得到网络模型的最佳权重,使用KITTI数据集进行测试,能达到较好的车辆识别效果。实验结果表明:其平均精度值为83.26%,平均检测时间为0.15 s。该算法能够快速、准确地在无人驾驶系统中对车辆进行识别。

基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

融合图卷积与多尺度特征的接触网点云语义分割

准确的接触网语义分割结果对于接触网组件提取和几何参数检测具有重要的意义。实际上,接触网场景复杂,部件之间的尺寸差异较大,并且存在着较多语义信息接近且相连的部件,导致现有的深度学习方法难以高精度地完成接触网点云语义分割任务。基于上述问题,本文提出一种基于图卷积和多尺度特征的神经网络GDM-Net。该网络包含基于图的局部特征提取器,增强了对接触网点云局部特征提取;双重通道注意力模块,同时兼顾了接触网点云的全局和显著特征的提取;多尺度特征融合的细化模块,通过提取并融合接触网的多尺度信息,提升了分割精度。受益于上述几个模块,该网络提升了对于接触网部件交界处的点云分割能力。基于接触网数据集对该方法进行定性和定量的验证分析,GDM-Net相较于5种其他的点云深度学习方法,精度最高,OA、mIoU和F 1值这3个精度指标分别可以达到96.73%,91.06%和95.28%。定性比较表示,本文提出的网络可以有效减少部件连接部分的错分问题,提高接触网部件分割的完整性。

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化完成在局部约束下的无人机位姿的优化和修正,避免估计位姿的误差累计导致无人机轨迹偏移。模拟矿井灾后复杂环境进行仿真实验,结果表明:基于视觉与激光融合的位姿估计算法的平均相对平移误差和相对旋转误差分别为0.0011 m和0.0008°,1帧数据的平均处理时间低于100 ms,且算法在井下长时间运行时不会出现轨迹漂移问题;相较于仅基于视觉或激光的位姿估计算法,该融合算法的准确性、稳定性均得到了提高,且实时性满足要求。

城市道路场景下的被遮挡车辆检测算法研究

为了提高智能汽车在城市道路场景下对前方被遮挡车辆的检测精度,提出了一种双尺度点云密度扩展网络BPDE-Net,来解决因存在车辆被遮挡而导致的目标点云稀疏问题。第一阶段,将原始点云投影到语义分割后的图像标签上,并在遮挡区域内随机生成固定数目的虚拟点,采用混合插值法来关联虚拟点和实际投影点,得到的虚拟点再反向映射到点云空间;第二阶段,使用马氏距离来关联相邻体素间的点云,以此增加每个体素内的相似点云数量,通过改进注意力高斯矩阵来计算体素特征所对应的相对位置编码,用于关注通道内不同体素序列的相对位置。在KITTI数据集中选取了大量的车辆之间存在遮挡的城市道路场景进行对比试验,结果表明:BPDE-Net在3D视角和鸟瞰图视角下的被遮挡车辆平均检测精度(mAP)分别为79.2%和83.7%,相较于基线网络Second分别提高了11.2%和12.5%;点云密度增强模块和体素特征融合模块的mAP相较于目前主流的方法分别提高了3.9%与1.8%,提升了车辆在被遮挡场景下的可辨识度与鲁棒性。

融合颜色与几何信息的点云配准

目前,大部分点云配准算法是基于点云数据的几何特征进行描述.随着能够同时采集对象坐标和颜色的扫描设备出现,为更好利用颜色信息,对彩色点云中的颜色信息描述进行研究,提出一种基于颜色分布的3DLGOP特征描述子,并将其与几何特征描述子FPFH、颜色特征描述子CSHOT融合,设计出FPFH-3DLGOP的混合描述符,采用最近邻比值法得到初始对应关系,采用随机采样一致性去除错误对应关系,对匹配关系使用奇异值分解(SVD)求得三维刚体变换矩阵,进而完成点云配准.实验表明,所提出的特征描述符充分地利用了点云数据的颜色特征与几何特征,不仅可以很好地完成彩色点云的配准,而且还提高了配准的匹配率和精度.