一种基于图卷积网络的分类地物简化方法

随着城市实景三维建设的全面推进,其高细节、大规模和复杂性等特点,导致了三维模型数据存储管理困难、传输速度慢、加载应用不流畅等问题。本文提出了一种基于图卷积网络对城市三维模型语义进行分类,针对各地物类别采取个性化的地物简化方法,并进行了建筑物、草地场景的三维模型轻量化试验,试验结果表明,使用本文方法,在保证模型可视化效果的前提下,可减少90%的数据量。

基于谱图理论的变压器区域大规模点云轻量化方法

点云在电网数字化转型中有重要应用价值。现有方法在处理变压器区域大规模点云时难以兼顾点云轻量化后的视觉效果,导致轻量化点云存在较大视觉失真。该文在点云轻量化时引入视觉失真度,以其最小作为约束,实现点云轻量化后视觉效果最优。首先基于谱图理论将原始点云转换为图信号,建立轻量化点云视觉信息损失与重采样矩阵间的函数关系;然后以视觉信息损失最小为目标函数,获得一组满足视觉信息损失最小但特征信息和均匀信息比例不同的轻量化点云;进一步,将原始点云和轻量化点云投影到几何和颜色特征域,用一个低维向量表征点云视觉效果,从而选择出视觉失真度最小的轻量化点云;最后,使用基准数据集和包含8000余万个点的变压器区域大规模点云进行了验证。结果表明:所提方法与主流的随机降采样法、体素平均法、非均匀网格法、曲率采样法相比,在轻量化点云的视觉效果方面,分别提升了57.4%、69.2%、62.2%、75.6%。

基于昇腾处理器的边端人体动作识别算法设计与实现

针对现有的人体动作识别算法精度不足、计算量大、缺少在边端设备上的部署等问题,本文提出一种基于昇腾处理器的边端轻量化人体动作识别时空图卷积算法。通过设计隐性联系骨架连接方法并构建隐性邻接矩阵,结合自然骨架连接邻接矩阵,构造显隐性融合空间图卷积。在时间维度加入空间注意力机制,使模型关注不同帧间关节点位置空间特征,进一步设计时间图卷积,构建时空图卷积。此外设计网络中的Ascend-Enisum算子,进行张量融合运算,降低了计算复杂度,使模型轻量化。针对上述改进,在KTH数据集上进行实验验证,与经典单流算法ST-GCN相比,模型计算量减小了22.28%,Top-1精度达到84.17%,提升了5%。基于上述算法设计了昇腾AI人体动作识别系统,并在边端设备成功部署,可以进行实时人体动作识别。

轻量化姿态估计时空增强图卷积模型下的矿工行为识别

基于骨架序列的行为识别模型具有速度快、算力要求低、模型简单等特点,图卷积神经网络在处理骨架序列数据时具有优势,而现有基于图卷积的矿工行为识别模型在高精度和低计算复杂度之间难以兼顾。针对该问题,提出了一种基于轻量化姿态估计网络(Lite-HRNet)和多维特征增强时空图卷积网络(MEST-GCN)的矿工行为识别模型。Lite-HRNet通过目标检测器进行人体检测,利用卷积神经网络提取图像特征,并通过区域提议网络生成锚框,对每个锚框进行分类以判断是否包含目标;区域提议网络对被判定为目标的锚框进行边界框回归,输出人体边界框,并通过非极大值抑制筛选出最优检测结果;将每个检测到的人体区域裁剪出来并输入到Lite-HRNet,生成人体关键点骨架序列。MEST-GCN在时空图卷积神经网络(ST-GCN)的基础上进行改进:去除ST-GCN中的冗余层以简化模型结构,减少模型参数量;引入多维特征融合注意力模块M2FA。生成的骨架序列经MEST-GCN的BN层批量标准化处理后,由多维特征增强图卷积模块提取矿工行为特征,经全局平均池化层和Softmax层得到行为的置信度,获得矿工行为预测结果。实验结果表明:①MEST-GCN的参数量降低至1.87 Mib;②在以交叉主体和交叉视角为评价标准的公开数据集NTU60上,采用Lite-HRNet提取2D人体关键点坐标,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率分别达88.0%和92.6%;③在构建的矿工行为数据集上,基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率达88.5%,视频处理速度达18.26帧/s,可以准确且快速地识别矿工的动作类别。

基于组合优化的遥感图文检索轻量化

针对现有基于图网络的遥感图文检索模型存在的海量参数、模型时效性低、存储空间需求大等问题,提出一种基于组合优化的遥感图文检索轻量化方法。从模型架构角度,设计基于跨阶段融合的轻量化卷积模块精简图文检索模型的参数;从数值量化角度,设计图网络混合精度训练与量化推理策略提升模型推理速度。在多个遥感检索数据集上的实验结果表明,该方法在检索精度基本不下降的条件下,总参数量、浮点运算量相比于典型方法降低60%以上。

基于特征融合轻量图卷积网络的软件漏洞推荐算法

针对传统漏洞推荐算法未考虑漏洞之间的复杂转换关系和软件动态变化的特征,导致推荐效果较差的问题,提出了基于特征融合轻量图卷积网络的软件漏洞推荐算法(software vulnerability recommendation algorithm based on feature fusion lightweight graph convolutional networks,SVR-FFLGCN)。首先,构建软件与漏洞异构关系图,并融入漏洞相似性算法以降低邻居结点的噪声干扰;其次,使用轻量图卷积网络捕获漏洞之间的复杂转换关系,并将软件动态变化的局部特征和全局特征进行自适应融合,进而获得更全面的特征表示用于漏洞推荐。实验表明,当推荐漏洞数量为10、20个时,SVR-FFLGCN算法相比基准模型在命中率(hit rate,HR)指标上分别提升了11.39%、6.74%,在归一化累积折损增益(normalized discounted cumulative gain,NDCG)指标上分别提升了7.12%、4.80%。该研究在提升开发人员工作效率以及实施有效的防御措施上具有重要作用。

基于通道剪枝的轻量化空气质量检测方法

针对传统空气质量检测系统结构复杂、部署困难以及成本较高的问题,利用图卷积网络对大气图像特征进行分析,提出了一种基于通道剪枝的轻量化空气质量检测算法。首先以ResNet50为基础网络训练一个PM 2.5指数检测网络,实现了空气质量初步的自动化检测。然后对网络模型中的所有卷积核通道和相关的参数传递进行图节点核权重边建模,以图表示形式输入GCN,并输出针对每个卷积核节点的剪枝重要性判别预测。最后根据GCN结果进行通道剪枝,使用原始数据集对剪枝后模型的参数进行微调,在保持网络检测精准度的情况下,实现网络模型的轻量化。通过对比实验和消融实验验证了提出的检测方法具有较高的检测精度,平均检测误差仅有5.31%,RMSE提升了0.52,R-square仅降低了0.018,解决了网络模型的参数量和计算量过大的问题,网络参数量从4.12×10^(7)降低至2.01×10^(7),FPS从16.78帧/s提升至30.9帧/s,为在便携式终端上实现空气质量检测任务提供了有力的技术支持。

基于多层空间特征融合的三维人体姿态估计

在三维人体姿态估计任务当中,人体关节之间的连接关系形成了一种复杂的拓扑结构,利用图卷积网络对该结构进行建模,可以有效捕捉局部关节间的联系;尽管不相邻关节之间没有直接的物理连接,但由于人体的运动和姿态受到生物力学约束以及人体关节之间的协同作用,利用Transformer编码器建立关节之间的上下文关系,可以更好地推断出人体姿态;在大模型的背景下,如何在保证模型性能的同时,降低参数量,也显得尤为重要.针对上述问题,设计了一个基于图卷积和Transformer的多层空间特征融合网络模型(MLSFFN),在使用相对少量的参数基础上,有效地融合了局部和全局空间特征.实验结果表明,本文提出的方法在仅需2.1M参数量的情况下,在Human3.6M数据集上达到了49.9 mm的平均每关节误差(MPJPE).此外,模型在MPI-INF-3DHP数据集上也展示出了较强的泛化能力.

基于可变形三维图卷积的轻量级点云分类研究

现有深度学习方法在处理点云分类任务时,依赖于点的绝对坐标,存在模型复杂度较大的问题。对此,提出一种轻量级的点云分类网络DMGCN-3D。使用自适应空洞K近邻(KNN)算法构造图结构,尽可能捕捉局部更广泛空间的几何结构信息,并减少计算开支;构造可变形三维图卷积,引入可学习的点与点之间的方向向量来获取相对特性,在特征提取过程中保证点云的置换不变性与尺度不变性;构建多头自注意力模块,通过残差结构将分组变换注意力(GSA)与多层感知机(MLP)相结合,MLP有助于保持原始点云信息的完整性,GSA使得网络能够学习特征内部的自相关性,在提高特征表达能力的同时降低参数总量;使用空间变换网络结合MLP来学习点云特征;对所提取的特征进行融合以得到更综合的特征,将其用于点云分类。实验结果表明,DMGCN-3D在ModelNet10、ModelNet40、ScanObjectNN数据集上的总体精度分别达到96.5%、94.7%、81.9%,比DGCNN分别提高2.9、2.1、3.8个百分点,参数总量相比DGCNN、LDGCNN、3DGCN模型分别降低52.9%、23.9%、3.3%,且DMGCN-3D能够保持较高的鲁棒性。

基于三分支图外部注意力网络的轻量化跨域序列推荐

跨域序列推荐(cross-domain sequential recommendation,CSR)旨在通过挖掘用户在多域混合序列中的行为偏好来为其提供跨域个性化推荐服务.近年来,研究人员开始尝试将图卷积网络(graph convolution network,GCN)集成到CSR中,以建模用户和项目之间的复杂关系.然而,基于图的CSR方法大多通过复杂的结构来捕捉用户在多个域中的序列行为模式,这导致其通常具有较高的计算复杂度和较大的内存开销,限制了模型在资源受限设备上的应用.此外,已有的轻量级图跨域序列推荐方法认为,应该采用单层聚合协议(single layer aggregating protocol,SLAP)来学习跨域序列图(cross-domain sequential graph,CSG)上的嵌入表示.基于这种协议的图卷积网络,能够规避多层聚合协议所带来的额外跨域噪声,但却难以捕捉域内的高阶序列依赖关系.为了解决上述挑战,提出了一种轻量级的三分支图外部注意力网络(tri-branches graph external attention network,TEA-Net).具体而言,TEA-Net首先将原始CSG分为域间以及域内序列图,并设计了一种并行的三分支图卷积网络结构来学习图中的节点表示.该结构能够以较低的计算开销,在不引入额外跨域噪声的条件下,学习域间的低阶协同过滤关系和域内的高阶序列依赖关系.其次,在三分支结构的基础上,提出了一种改良的外部注意力(external attention,EA)组件,该组件移除了EA中的非线性通道,使其能够以更低的开销挖掘项目序列依赖关系并将注意力权重在多个分支上共享.在2个真实数据集上进行了广泛的实验来验证TEA-Net的性能表现.与10种最先进的CSR方法相比,TEA-Net在轻量化性能和预测精度方面均取得了更好的结果.

面向生命周期管理的船体结构信息集成模型研究

针对船体结构全生命周期管理的特点,设计了船体结构信息集成模型的数据结构.借鉴其他行业中产品生命周期管理的模型应用情况,利用XML、OpenGL和文件压缩等支撑技术,建立了3D轻量化模型浏览环境.以一艘68000DWT油船为例进行了应用研究,结果表明,此模型能将设计模型、维护保养模型与评估模型衔接起来,使船体结构的生命周期管理成为一个闭环操作,同时轻量化图形的应用既加快了图形的浏览速度,又减少了用户的图形交互操作,保证了系统的可靠性.

基于轻量时空图卷积模型的路网交通流预测

交通流预测是智能交通系统的重要组成部分。针对路网交通流天然具有的时空依赖性,结合交通流时序因果卷积与路网空间拓扑结构图卷积,提出一种基于递增式丢边的轻量时空图卷积神经网络模型,实现时空特征的有效融合,建立路网交通流高精度预测模型,提高交通流预测精度的同时降低其计算资源消耗、缩短预测响应时间。模型以单“三明治”式时空卷积模块为核心组件,减少时间卷积与空间卷积间的高计算消耗交互,有效提取交通流时空特征的同时保持整体结构轻量,其中的“厚夹心”空间图卷积采用多层图卷积网络以捕获远程高阶邻居节点信息、扩大空间感受野,并引入递增式丢边策略分阶处理邻居节点边,消解其潜在的过平滑。在模型训练中引入动态初始学习率,随模型训练进程演进动态调适学习率,进一步提升优化器性能,保证模型整体上的优越性。以真实基准交通流数据开展实验,对比分析本文所构建模型与多种相关基线模型的训练时间、预测精度等指标,并分析讨论所建模型在路网各节点上预测结果的离散性及其精度,解析多层图卷积可能具有的过平滑现象以及递增式丢边策略的消解能力。研究结果表明,本文所构建模型能有效捕获路网交通流的时空特性,以更少的训练时间获得更高的预测精度。

基于轻量化模型的加工特征识别技术

为有效提取轻量化模型中的加工特征,在分析轻量化模型的基础上,建立了面向特征的轻量化数据模型,并提出了基于轻量化模型的加工特征识别方法。通过设计轻量化模型的几何信息提取算法,建立了轻量化模型的边界表示模型;给出了一个判断表面间邻接关系的算法,建立了零件的属性邻接图;通过对属性邻接图进行二次分解,实现了对凸出类特征和凹陷类特征的识别。最后,通过一个实例验证了方法的可行性和有效性。

多流融合的轻量级图卷积行为识别算法

传统的基于RGB视频的行为识别容易受到光线强度、观察视角等问题的影响。基于骨骼的行为识别受这些问题的影响较小,成为现在的主流方法之一。但目前基于骨骼信息的行为识别方法参数量较大,运算速度较慢。为了解决这些问题,提出一种多流融合的轻量级图卷积行为识别框架。首先,将融合人体关节、骨骼边、关节速度和骨骼速度的多种信息的数据输入到空间图卷积模块中;其次,在空间图卷积模块中加入了空间注意力机制来更好地提取各个关节之间的关系;最后,在时间卷积模块中使用了深度卷积和逐点卷积减少参数量。提出的网络与基线网络SGN相比,在NTU-RGB+D120数据集中,交叉视角评估下提高了2.3%,交叉设置评估下提高了1.9%,参数量减少了0.12×106个,从而验证了提出网络的有效性。

多模态轻量级图卷积人体骨架行为识别方法

与传统的基于RGB视频的行为识别任务相比,基于人体骨架的行为识别方法由于其具有受光照、视角和背景复杂度等诸多因素影响非常小的特点,使其成为近几年来计算机视觉领域的主要研究方向之一。但是目前主流的基于人体骨架的行为识别方法都或多或少地存在参数量过大,运算时间过长,计算复杂度过高等问题,从而导致这些方法难以同时满足时效性和准确度这两个要求。针对上述问题,提出了一种融合多模态数据的轻量级图卷积神经网络。首先通过多模态数据融合的方法将多种信息流数据进行融合;其次通过空间流模块和时间流模块分别获得融合后数据的空间信息和时间信息;最后通过全连接层获得最终的分类结果。在行为识别数据集NTU60 RGB+D和NTU120 RGB+D上的测试结果表明该网络不仅在识别精度上优于近两年内的一些主流方法,同时在参数量的比较上也远小于其他主流方法,从而验证了该网络在兼顾时效性和计算成本的同时,准确度上的表现也十分优异。

轻量级的三维点云识别方法

针对当前三维点云识别方法存在时间和空间复杂度较高的问题,提出一种轻量级的三维点云识别方法。使用最远点采样法从原始点云中获取采样点,在采样点处构建K近邻图来有效获取点云的局部结构信息,大幅度降低网络的计算复杂度;使用注意力机制突出局部区域不同K近邻点的重要性,达到增强局部结构特征的目的;利用分组卷积提取高层次的局部结构特征的同时减少卷积层的参数量。在保证较高的识别准确率的前提下减少全连接层的参数量。在ModelNet40数据集上的实验结果表明,该方法的识别准确率达到同等或更优水平,网络模型的参数量得到大幅度减少,训练时间和测试时间更短,同时保持较高的鲁棒性。

轻量级多信息图卷积神经网络动作识别方法

针对如何在保持低参数量和低计算量前提下构建高性能模型的问题,提出一种轻量级多信息图卷积神经网络(LMI-GCN)。LMI-GCN通过将关节坐标、关节速度、骨骼边、骨骼边速度四种不同信息编码至高维空间的方式进行信息融合,并引入可以聚合重要特征的多通道自适应图和分流时间卷积块以减少模型参数量。同时,提出一种随机池数据预处理方法。在NTU-RGB+D120数据集上与基线方法SGN(语义引导神经网络)相比,在两种评估设置cross-subject和cross-setup上提高5.4%和4.7%。实验结果表明,LMI-GCN性能高于SGN。

融合多特征与语义图卷积网络的摔倒检测方法

摔倒事件严重影响老年人的生命健康,对摔倒行为进行检测可以降低老年人再次跌倒的风险,从而保证其生活能力以及提高生活质量。目前基于视觉的摔倒检测方法在实验数据集上能够取得较好的精度,但是无法很好地泛化到现实环境中,在实际应用时往往并不符合动作判断逻辑。针对该问题,对比光流法以及基于人体姿态估计的方法,在2D人体姿态估计的基础上提出一种鲁棒的摔倒检测方法。设计一种摔倒检测优化框架,构建融合多特征与语义图卷积的检测模型,采用更贴合动作判断逻辑的训练策略对该模型进行训练,以提高摔倒检测系统在现实环境中的泛化性。在Le2i Fall Detection Dataset、UP Fall Detection Dataset和Multiple Cameras Fall Detection Dataset这3个公开数据集以及自收集数据集上进行实验,结果表明,该模型的总体检测准确率达到98.3%,基于所提优化框架与训练策略的模型配合YOLOv3和Alpha_pose实现的整体摔倒检测方法在GTX1060显卡中帧率达到约25FPS,在现实场景测试中体现出较好的鲁棒性,相较以往的基于视觉的检测方法更适合部署在实际应用环境中。

基于结构匹配的建筑信息模型构件快速对齐方法

基于结构匹配思想实现了建筑信息模型(Building Information Modeling, BIM)构件(或模型)的快速对齐。提出一种构件Item结构图(Item-based Structure Graph, ISG)作为BIM构件特征描述符;基于分解图匹配改进的图匹配算法被应用到ISG匹配过程中,解决了构件匹配中因对称切换引起的误匹配问题;扩展以上匹配算法,使其支持部分匹配下的BIM构件快速对齐,兼容同族类构件下自定义构件中的部分Item差异。实验结果表明:该更贴合于BIM构件的数据特点,能提高构件对齐的效率和准确性,在BIM构件对齐、场景轻量化等过程中有较好的实用性。

高性能整数倍稀疏网络行为识别研究

目的 行为识别在人体交互、行为分析和监控等实际场景中具有广泛的应用。大部分基于骨架的行为识别方法利用空间和时间两个维度的信息才能获得好的效果。GCN(graph convolutional network)能够将空间和时间信息有效地结合起来,然而基于GCN的方法具有较高的计算复杂度,结合注意力模块和多流融合策略使整个训练过程具有更低的效率。目前大多数研究都专注于算法的性能,如何在保证精度的基础上减少算法的计算量是行为识别需要解决的关键性问题。对此,本文在轻量级Shift-GCN(shift graph convolutional network)的基础上,提出了整数倍稀疏网络IntSparse-GCN(integer sparse graph convolutional network)。方法 首先提出奇数列向上移动,偶数列向下移动,并将移出部分用0替代新的稀疏移位操作,并在此基础上,提出将网络每层的输入输出设置成关节点的整数倍,即整数倍稀疏网络IntSparse-GCN。然后对Shift-GCN中的mask掩膜函数进行研究分析,通过自动化遍历方式得到精度最高的优化参数。结果 消融实验表明,每次算法改进都能提高算法整体性能。在NTU RGB+D数据集的子集X-sub和X-view上,4流IntSparse-GCN+M-Sparse的Top-1精度分别为90.72%和96.57%。在Northwestern-UCLA数据集上,4流IntSparse-GCN+M-Sparse的Top-1精度达到96.77%,较原模型提高2.17%。相比代表性的其他算法,在不同数据集及4个流上的准确率均有提升,尤其在Northwestern-UCLA数据集上提升非常明显。结论 本文针对shift稀疏特征提出整数倍IntSparse-GCN网络,对Shift-GCN中的mask掩膜函数进行研究分析,并设计自动化遍历方式得到精度最高的优化参数,不但提高了精度,也为进一步的剪枝及量化提供了依据。