基于语义云的线上物流金融服务系统研究

为了改进现有物流金融信息资源管理存在的缺点,有效构建线上物流金融服务系统,在分析现有物流金融信息资源管理方面存在的缺乏大范围的信息共享、资源整合能力和基础设施重复建设等问题的基础上,主要基于语义云技术构建了线上物流金融服务系统,具体包括终端界面、资源虚拟封装、资源管理和语义知识服务等组件,详细分析了各个组件的功能。从物流金融云服务资源的语义表示、服务化封装和语义知识服务等方面研究了构建基于语义云的线上物流金融服务系统的关键技术。研究结果表明,应用语义云技术能有效构建线上物流金融服务系统,实现物流金融业务的要求。

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于改进PointNet++的输电线路关键部位点云语义分割研究

输电线路的关键部位包括塔身、导线、绝缘子、避雷线以及引流线,无人机精细化导航的首要任务是构造输电线路的点云地图并从中分割出上述部位。为解决现有算法在输电线路的绝缘子、引流线等精细结构分割时精度低的问题,通过改进PointNet++算法,提出了一种面向输电线路精细结构的点云分割方法。首先,基于无人机机载激光雷达在现场采集的点云数据,构造了输电线路点云分割数据集;其次,通过对比实验,筛选出在本输电线路场景下合理的数据增强方法,并对数据集进行了数据增强;最后,将自注意力机制以及倒置残差结构和PointNet++相结合,设计了输电线路关键部位点云语义分割算法。实验结果表明:该改进PointNet++算法在全场景输电线路现场点云数据作为输入的前提下,首次实现了对引流线、绝缘子等输电线路中精细结构和导线、杆塔塔身以及输电线路无关背景点的同时分割,平均交并比(mean intersection over union,mIoU)达80.79%,所有类别分割的平均F_(1)值(F1 score)达88.99%。

融合图卷积与多尺度特征的接触网点云语义分割

准确的接触网语义分割结果对于接触网组件提取和几何参数检测具有重要的意义。实际上,接触网场景复杂,部件之间的尺寸差异较大,并且存在着较多语义信息接近且相连的部件,导致现有的深度学习方法难以高精度地完成接触网点云语义分割任务。基于上述问题,本文提出一种基于图卷积和多尺度特征的神经网络GDM-Net。该网络包含基于图的局部特征提取器,增强了对接触网点云局部特征提取;双重通道注意力模块,同时兼顾了接触网点云的全局和显著特征的提取;多尺度特征融合的细化模块,通过提取并融合接触网的多尺度信息,提升了分割精度。受益于上述几个模块,该网络提升了对于接触网部件交界处的点云分割能力。基于接触网数据集对该方法进行定性和定量的验证分析,GDM-Net相较于5种其他的点云深度学习方法,精度最高,OA、mIoU和F 1值这3个精度指标分别可以达到96.73%,91.06%和95.28%。定性比较表示,本文提出的网络可以有效减少部件连接部分的错分问题,提高接触网部件分割的完整性。

基于点云语义分割的猕猴桃冠层叶密度测量方法

提出了一种基于LiDAR的猕猴桃果园叶密度测量方法,旨在为猕猴桃果园冠层喷药提供更精确的指导。首先,使用激光雷达扫描10个密度不同的猕猴桃冠层建立点云数据集,利用RandLA-Net神经网络模型并通过6折交叉验证的方法对猕猴桃冠层的树叶、树枝和T型架点云进行语义分割;然后,计算仅包含树叶信息的冠层点云表面积,通过与人工落叶后的实测冠层叶属性(叶面积、叶片数)进行回归分析比较,得到冠层叶点云表面积与真实冠层叶属性的关系;最后,将3 m×3 m的猕猴桃冠层区域划分为400个225 cm^(2)的小网格区域,用以生成冠层叶密度图。结果表明:RandLA-Net网络模型能够有效地对猕猴桃冠层的树枝、树叶与T型架点云进行分割,模型平均总体精度OA达到92%以上,平均交并比mIoU为81.4%,冠层实测叶面积与冠层叶点云表面积的回归分析中获得了较高的相关性R=0.78,回归方程为y=1.491x+8315。对于每个猕猴桃冠层点云数据,通过Alpha-shape算法计算网格区域的冠层体积和预测网格真实叶面积的方法生成冠层叶密度图。所开发的基于点云语义分割的猕猴桃冠层叶密度测量方法,各项指标均符合预期要求,可以为果园冠层喷药提供更精准的指导。

大规模差异化点云数据下的联邦语义分割算法

海量点云数据的存储对自动驾驶实时3D协同感知具有重要意义,然而出于数据安全保密性的要求,部分数据拥有者不愿共享其私人的点云数据,限制了模型训练准确性的提升。联邦学习是一种注重数据隐私安全的计算范式,提出了一种基于联邦学习的方法来解决车辆协同感知场景下的大规模点云语义分割问题。融合具有点间角度信息的位置编码方式并对邻近点进行几何衍射处理以增强模型的特征提取能力,最后根据本地模型的生成质量动态调整全局模型的聚合权重,提高数据局部几何结构的保持能力。在SemanticKITTI,SemanticPOSS和Toronto3D三个数据集上进行了实验,结果表明该算法显著优于单一训练数据和基于FedAvg的方法,在充分挖掘点云数据价值的同时兼顾各方数据的隐私敏感性。

基于无监督域适应的室外点云语义分割

为处理室外大规模场景中语义分割网络训练需求数据量过大的问题,提出一种基于无监督域自适应的点云语义分割方法。该方法使用改进的RandLA-Net以SPTLS3D真实世界数据集的少量点云作为目标对象进行语义分割。模型在SensatUrban数据集上完成分割网络的预训练,通过缩小源域和目标域之间的域差距来完成模型的迁移。RandLA-Net编码过程会缺失原始点云全局特征,因此本文提出一种额外获取全局信息加入网络解码的方法。此外,为增强差异化信息的获取,RandLA-Net的局部注意力模块权值改为根据各点的特征和其邻域的平均特征的差值。实验显示,该网络在Se manticKITTI数据集上的平均交并比精度达到54.3%,在Semantic3D上的平均交并比精度达到了71.91%。预训练好的模型经过微调后平均交并比精度达到了80.05%,比直接训练的效果好8.83个百分点。

基于编码特征学习的3D点云语义分割网络

目前点云语义分割已广泛应用到自动驾驶、虚拟现实等多个领域,但现阶段点云分割算法无法提取较完整的空间结构信息,难以解释每个点编码信息的问题.针对此缺陷,文中提出基于编码特征学习的3D点云语义分割网络.首先,在引入角度信息和增强特征的基础上构造局部特征编码器(Local Feature Encoder,LFE),学习较完整的局部空间结构,缓解相似物体错分割问题.然后,设计混合池化聚合模块(Mixed Pooling Polymerization,MPP),聚合粗犷特征和精细特征,同时保证点云的排序不变性.最后,采用多尺度特征融合,充分利用编码层不同尺度特征,实现准确的语义分割.在两个大型基准数据集S3DIS和SemanticKITTI上的实验表明文中网络的优越性.

基于空间几何特征融合增强的地铁隧道点云语义分割神经网络模型

基于深度学习的隧道点云语义分割技术能够对大规模点云数据中的物体对象进行识别与分类,可以实现隧道场景内物体信息的提取与管理。顾及地铁隧道内设施的空间分布特征与几何特点,提出了一种基于空间几何特征融合增强的地铁隧道点云语义分割神经网络模型。设计了隧道点云空间几何特征提取模块,提取了隧道设施点云的相对空间位置与几何分布特征,将其与相应的网络编码层的点云信息进行通道拼接,以增强网络模型对多尺度点云特征信息的感知能力。构建了基于通道注意力机制的特征融合编码层,提取不同通道间特征信息的权重,对不同空间尺度的点云信息进行加权融合,以充分利用不同尺度的信息来提高模型的表示和泛化能力。利用南京某地铁隧道实测点云数据制作语义分割数据集,对所提模型进行了验证。结果表明:模型的训练mIoU值达到0.9556;在测试数据集上的预测结果中,加权平均F1分数为0.9959,加权平均IoU值为0.9631;对于PointNet++模型分割精度较差的通信光缆、管线架、接触吊梁类别,本研究模型的IoU值分别达到0.845、0.825和0.999,有效提高了地铁隧道点云分割的整体准确性,可为实现地铁隧道自动化病害巡检与设施管理提供技术参考。

基于深度学习的休眠期苹果树点云语义分割

针对苹果树结构复杂、树干之间相互遮挡、导致国内外大规模机械设备自动剪枝误剪率高等问题,提出1种基于深度学习的休眠期苹果树点云的语义分割。以陕西省礼泉苹果种植基地的休眠期苹果树为研究对象,为了解决双视角点云配准之间非重叠点对距离过大导致配准误差大的问题,用Kinect V2传感器获取休眠期苹果树点云,对每株果树采用改进迭代最近点算法(Iterative closest point,ICP)进行多视角三维重建,对于大规模的果树点云,构建基于超点图的果树分割网络(Super point graphs network,SPGNet),对果树点云进行语义分割,保留果树点云的复杂几何信息。结果表明,当果树双视角点云的配准误差小于1 mm时,可成功分割休眠期苹果树的树干与分枝,对分类精度、预测值与真实值的交并比(IoU)进行评估,其中树干的分类精度、IoU分别为94.0%、0.85,分枝的分类精度、IoU分别为83.1%、0.75。由此可见,研究结果可解决机械设备自动剪枝误剪率高的问题,能在自然光线条件、大规模休眠期苹果树场景下实现对休眠期苹果树树干与分枝的分割,为大规模自动剪枝提供依据。

结合局部增强与反向残差的点云语义分割网络

激光点云是3D传感器的输出,且对它的语义分割任务是理解真实世界的基础。基于图卷积的点云分割网络在许多场景下都展现了优异的性能。然而,现有的图卷积方法存在部分问题:点云局部表示的能力未得到加强,忽略了全局几何信息,并且聚合操作只保留局部最大响应值信息,而次最大值信息丢失。为了处理这些问题,本文提出GRes-Net网络。利用局部几何加强(Local Geometry Augment,LGA)模块,使网络对Z轴具有旋转不变性,以便加强点云局部信息表示;采用全局几何特征(Global Geometry Feature,GGF)模块,计算局部与全局的球体体积比,将其与坐标特征X进行连接,使全局几何信息特征得以保留;通过多个对称聚合操作将局部信息多方面地保留;网络中每层都使用残差操作,将上一层信息传递到下一层,以及利用反向残差模块(Reversed Residual MLP,RevResMLP)挖掘更深层次的语义信息。本文在S3DIS数据集上进行语义场景分割实验,验证网络分割的性能。实验结果表明该方法在分割精度上达到61%,相比于基准网络DGCNN提高14%,有效地提高了模型性能。

顾及长尾分布的机载LiDAR点云CNN语义分割

针对目前PointNet++系列网络模型倾向于牺牲尾类分割精度以保证全局分割精度这一现象,构建顾及数据长尾分布的机载LiDAR点云语义分割网络,主要涉及两方面内容,聚类最远点采样和空间自注意力机制下的局部特征学习。聚类最远点采样通过类内点云最远点采样、划分区域最远点采样以及基于置信度的均值漂移(Meanshift)聚类组合策略,最大程度保留尾类样本并通过循环赋权方式使每类样本均能被网络充分学习;空间自注意力机制下的局部特征学习为结合不同空间编码方式增强采样点邻域拓扑结构的学习,以利于从稀疏样本数据中完整学习目标空间结构。公开数据集实验表明,本文网络模型整体分割精度和平均F_(1)较PointNet++分别提升6.3%和6.6%,并优于其它6种PointNet++系列网络模型及新公布的10种网络模型,具有良好的泛化性能与应用价值。

特征自适应融合插值的点云语义分割算法

点云语义分割是场景理解的基础问题。大多数针对大场景点云的语义分割方法精心设计局部特征聚合模块以减少降采样点云过程中的信息损失,然而未能高效地利用多尺度局部特征推理点云语义信息。为此,文中提出一种多尺度特征自适应融合的插值方法,以实现更准确的大场景点云语义分割算法。首先,通过注意力机制的局部特征聚合模块学习点云内部的语义关系,描述局部模式的各项异性;然后,以不同的采样率随机地采样点云产生多尺度的稀疏局部特征图;最后,使用特征自适应融合的插值法代替广泛使用的最近邻插值法,恢复全分辨率的特征图,为原始密度的点云提供更准确的语义信息。在SemanticKITTI和S3DIS两个大场景点云数据集上对所提算法进行评估,结果表明,所提算法的平均交并比(mIoU)分别为54.24%、75.5%,平均准确率(mACC)分别达到88.92%、86.5%,比大多数主流算法的分割效果更加准确。

基于B-PointNet++的地下电缆工井点云语义分割模型

地下电缆工井具有规模大、范围广、空间分布复杂等特点,为提高地下电缆工井筛查效率,保障地下电缆安全可靠运行,提出了一种基于宽度学习系统(broad learning system,BLS)和编解码器(encoder-decoder)的PointNet++模型,简称BPointNet++,并将其应用于地下电缆工井点云语义分割。首先,为提高PointNet++对于大规模点云数据的特征学习能力以及学习效率,提出了基于Encoder-Decoder的PointNet++学习框架,并在PointNet核心网络中引入BLS算法替代原有多层感知器(multilayer perceptron,MLP),充分发挥BLS随机化学习效率;其次,采集了雄安新区地下电缆工井点云数据并加入真实语义标签制作模型训练需要的数据集;最后,与PointNet和PointNet++等现有方法相比,B-PointNet++具有更高的精确度、召回率、交并比和F1分数,有利于地下电缆工井场景的多目标分割,有较大的应用潜力。

基于点云稀疏语义特征的智能网联汽车协同感知配准算法

针对道路场景下多智能网联汽车协同感知问题,本文提出一种基于点云稀疏语义特征的智能网联汽车协同感知配准算法。所提算法旨在通过点云集成配准扩展智能网联汽车感知范围,进而实现智能网联汽车协同感知。首先,在道路语义特征基础上进行几何特征提取进而得到点云稀疏语义特征。其次,计算道路语义特征点云间的角度偏差以提供配准初值,并将点云语义信息作为配准约束条件实现全局语义集成配准。实验表明所提算法有效扩大了多智能网联汽车协同感知范围,提高了多点云集成配准的精度与鲁棒性。与当前主流算法JRMPC相比,本文所提算法配准精度提高了2.45%。

基于深度残差网络与梯度优化的室内点云语义分割

三维点云语义分割是大型场景点云数据理解和分析的关键步骤之一。为实现室内场景点云更高精度的分割,提出一种基于深度残差网络与梯度优化的语义分割方法(DRN-GO),通过加深集抽象模块与特征传递模块的层数,加强对点云的特征学习,并在网络层之间引入残差网络进行特征链接。为防止网络层次的增加导致模型过拟合,在编解码后的全连接层部分加入Dropout结构,并在每层网络输入前对数据进行批量归一化处理,从而确保模型的稳定性。本文选用斯坦福大型室内数据集S3DIS设计实验,结果表明,DRN-GO方法相比PointNet++在精度上得到了大幅度提升。

基于全局上下文注意力的点云语义分割

点云语义分割是三维环境感知的基础,直接基于点的语义分割方法避免了因点云结构化处理所造成的信息损失,但大多数深度学习模型的研究主要集中在提取局部几何特征,没有考虑点云不同局部结构之间的上下文关系,并且忽略了低级与高级特征之间的语义差距,限制了特征表示的能力,影响了点云语义分割的精度。因此,文中提出一种基于全局上下文注意力的点云语义分割方法,该方法主要由基于外部注意力的全局上下文特征聚合和基于后向竞争性注意力的邻近尺度特征融合两部分组成。通过外部注意力学习不同局部结构之间的长距离依赖关系,从而获得丰富的全局上下文信息。为了进一步增强模型的上下文感知能力,设计基于后向竞争性注意力的邻近尺度特征融合模块,学习低级与高级语义特征之间的相似度,重新为中间特征通道分配权重。在S3DIS大规模室内点云数据集上对所提方法进行评估,结果表明,所提方法的平均交并比在Area5上达到了65.2%,相比于RandLA-Net提高了2.5%,在6折交叉验证上的平均交并比达到了71.4%,相比于RandLA-Net提高了1.4%。证明了所提方法能够有效提取全局上下文特征,提高了语义分割的精度。

机载激光雷达点云分类研究进展与趋势

机载激光雷达点云数据能为诸多行业应用提供框架性、基础性的技术支撑;点云数据也是智慧城市和实景三维(3D)中国建设的重要地理空间数据,高质量的点云分类能极大地提升地理空间数据的实体3D表征效果。因此,对机载激光雷达点云分类的技术研究进展情况进行凝练和梳理则显得较为重要。本论文从基于众源地图、基于特征、基于神经网络与深度学习、基于多模态数据利用等方面对点云分类方法进行论述,归纳各种方法的技术优势和潜在问题,并对发展趋势进行了分析。在城市复杂场景的激光雷达点云分类场景中,通过嵌入光学影像、融合众源地图标注信息,结合神经网络和深度学习方法,进行全局推理的多模态数据耦合,实现对机载激光雷达点云的高效率、高精度、高准确性的分类,将是今后需要进行深入研究的方向。

SSA-PointNet++:空间自注意力机制下的3D点云语义分割网络

为增强捕捉细粒度局部特征能力以进一步提高复杂场景点云语义分割精度,将自注意力机制引入PointNet++构建点云语义分割网络SSA-PointNet++.首先将采样点邻域的自注意力明确分为中心自注意力和邻域自注意力两部分,综合两者并结合不同空间编码方式增强网络模型对采样点邻域拓扑结构的学习;然后构建注意力池化模块以强化重要信息在网络的有效传递,并通过差异性池化函数整合注意力池化、最大池化提取的多个全局特征以提高点云语义分割结果的鲁棒性.对公开数据集S3DIS,Semantic3D的场景语义分割实验表明,所提网络模型数据集分割精度mIoU较基准模型提升效果显著,在室内数据集S3DIS上的mIoU较PointNet++提升达6.6%,在室外数据集Semantic3D上的mIoU高出MSDeepVoxNet约3%;与公开数据集上其他网络模型的分割结果相比,所提模型性能均有不同程度的提升,具有更强的泛化性能和良好的应用价值.