融合体素图注意力的三维目标检测算法

目前基于点云的三维目标检测方法未能充分利用点云局部几何特征,导致对点云稀疏的目标检测效果不佳。为此,本文提出基于原始点云体素图注意力的两阶段三维目标检测算法(voxel graph attention region-CNN,VGT-RCNN)。通过多尺度体素特征插值计算网格中心点特征;在多尺度非空体素特征上构造局部图;通过图注意力机制对体素特征进行加权平均,充分提取并利用目标的局部几何特征完成检测。该算法主要针对当前二阶段算法在进行特征聚合时对不同体素特征的重要性考虑不足进行改进,引入可学习的权重矩阵,动态学习体素特性的权重,提高局部特征表达能力。本文在流行的KITTI自动驾驶数据集上进行了充分测试,取得了具有竞争力的检测效果,尤其是在对点云稀疏的汽车目标检测上,准确率有较大提高。本文还对检测效果进行了可视化分析。

图卷积神经网络综述

图卷积神经网络是图论与深度学习的交叉,已成为机器学习领域的研究热点。基于此,介绍了图卷积神经网络的形成,梳理了两大类经典的图卷积神经网络:谱方法和空间方法,详细介绍了这两类图卷积神经网络模型,分析了图卷积操作的核心理论基础,介绍了图卷积神经网络在各领域的应用,总结了图卷积神经网络面临的主要挑战,展望了图卷积神经网络的发展趋势,并分析了图卷积神经网络在野外环境下蝴蝶识别任务中的潜在应用。

基于人物交互的学生课堂行为识别研究

深度学习技术促进了学生课堂行为识别研究的发展,为精准刻画学生的课堂学习行为提供了有效途径。然而,该方法面临真实课堂场景下目标多、行为特征复杂等困难,导致行为识别准确率不高。基于此,文章提出了一种基于人物交互的学生课堂行为识别网络,将交互对象作为重要特征引入课堂行为识别,首先将原网络中的检测模块替换为YOLOv5s,然后引入欧氏距离减少冗余人-物节点关系,并设计新特征提取算法优化听课这类无交互物品的学生行为识别,最后通过实验验证了此网络有效性和准确性。文章通过研究,旨在为规模化课堂行为识别研究提供理论参考和实践借鉴,进一步优化课堂教学效果的过程化评价,促进教学质量提升。

基于多尺度目标检测的人机协作装配场景认知方法

人机协作装配场景的快速理解对提高协作机器人认知能力、实现人机协作装配具有重要的现实意义。针对非结构化人机协作装配场景认知过程中目标尺度差异较大、缺少统一场景描述框架等问题,首先构建了一种轻量级多尺度目标检测网络LMS-Net,并在网络训练过程中引入目标检测框聚类机制以提高多尺度目标检测精度;然后将LMS-Net检测结果转换为人物交互图并建立了人机协作装配场景元描述模型,提出了基于多尺度目标检测的人机协作装配场景认知方法。在自建数据集HRC-Action上的实验结果表明所构建多尺度目标检测网络具有较高的准确率(平均89%)和较快的速度(深度学习工作站平均58.7 FPS,Jetson Nano B01嵌入式开发板平均25 FPS),所提人机协作装配场景认知方法具有较好的可行性和实用性。

基于马尔可夫决策的钢铁产成品订单分配模型研究

物流订单分配是钢铁产成品销售过程中的重要环节,对销售过程的整体体验和全流程的良性循环起着至关重要的作用。在实际生产过程中,传统的人工分单模式已难以适应长时间维度的发展要求。为了充分考虑一个时间周期内销售的物流成本最低以及承运司机的收益较高,同时确保企业的长期收益,本文用多目标约束,建立马尔可夫决策模型,引入KM算法执行二分图匹配,基于司机收益最大化和企业成本最小的多目标优化,最大化钢铁商品总交易量为长期的最终目标,结合价值函数和多属性的多目标优化函数,形成车辆和货物的完整匹配决策。以钢铁企业的真实业务数据为例,对数据进行预处理后筛选合适特征进行模型训练并验证算法的正确性和可用性。结果表明,该模型相较于传统的订单分配方法,可以更好地解决钢铁企业在订单分配场景下的需求。

基于深度学习的3D目标检测算法综述

随着自动驾驶领域对目标检测的精度和速度需求的提高,目标检测的研究从传统检测算法转向深度学习方向。由于2D目标检测算法存在小目标丢失等问题,基于深度学习的3D目标检测算法以能提供物体的位置、尺寸和方向等一些空间结构信息的优势,迅速在自动驾驶领域发展起来。首先,简单陈述了2D目标检测算法,将3D目标检测算法分成5个类别,分析了各类目标检测算法的优缺点;然后,详述了最新被提出的基于图神经网络(graph neural network, GNN)的2种算法;最后,对3D目标检测所应用的领域和其研究意义进行总结,并对3D目标检测今后可能发展的方向做出猜想。

HetGNN-3D:基于异构图神经网络的3D目标检测优化模型

3D感知是自动驾驶场景的核心问题,传感器融合可以综合利用激光雷达和摄像机的优点以达到更高的3D目标检测准确率.传感器融合涉及点云到图像对准问题,预先对传感器标定可以得到点到图像位置的投影关系,然而这种对准方式受传感器相对位置偏移与采集时间偏移影响而在干扰下对模型产生负面影响.针对该问题,本文把场景中实体在各个传感器下的不同表达作为不同对象,以对象为节点建立包含两类节点与三类边的异构图描述该场景,并提出了基于该异构图的3D目标检测优化模型HetGNN-3D.该模型通过图结构捕获对象间潜在联系并找到点云对象节点与图像对象节点间对应关系,从而减弱干扰带来的影响.HetGNN-3D包含图初始化、消息传递、图读出三大模块.图初始化模块使用基于点云的3D目标检测模型的输出和基于图像的2D目标检测模型的输出建立对象级异构图.消息传递模块针对异构图特性分类聚合与更新消息.图读出包含用于对象关系预测的边读出与属于同一实体的对象子图读出,然后基于对象子图得到3D目标检测结果.在nuScenes数据集的实验表明,HetGNN-3D有效融合点云信息与图像信息优化了3D目标检测结果,此外,基于对象级异构图的边关系预测使融合过程与预先标定得到的传感器映射矩阵解耦合,从而提升了融合模型的容错性与鲁棒性.

基于知识图谱的多目标可解释性推荐

现有的推荐系统研究大多集中在如何提高推荐的精度上,而忽略了推荐的可解释性。为了最大程度地提高用户对推荐项的满意度,提出一种基于知识图谱的多目标可解释性推荐模型,同时优化推荐的准确性、新颖性、多样性和可解释性。首先通过知识图谱得到用户可解释的候选列表,并利用统一的方法以目标用户的交互项和推荐项之间的路径作为解释依据对推荐的可解释性进行量化,最后通过多目标优化算法对可解释的候选列表进行优化,得到最终的推荐列表。在Movielens和Epinions数据集上的实验结果表明,本文所提出的模型可以在不降低准确性、新颖性和多样性的情况下提高推荐的可解释能力。

基于自注意力机制与图卷积的3D目标检测网络

针对三维(3D)目标检测过程中对骑行者、行人等小目标检测的准确性较低,难以适应城市复杂路况的问题,提出一种基于自注意力机制与图卷积的3D目标检测网络。首先,为获取更具有判别性的小目标特征,在主干网络中引入自注意力机制,使网络对小目标特征更敏感,增强网络特征的提取能力;其次,在自注意力机制的基础上构建特征融合模块,进一步丰富浅层网络特征,增强深层网络的特征表达能力;最后,引用动态图卷积预测目标的边界框,提高目标预测的准确性。在KITTI数据集上进行实验,将所提网络与TANet(Triple Attention Network)、IA-SSD(Instance-Aware Single-Stage Detector)等8种主流网络对比。实验结果表明,所提网络对行人的检测精度在简单、中等和困难这3个难度下比行人检测精度次优的TANet提高了12.12、13.82和11.03个百分点,对骑行者的检测精度在中等和困难上比IA-SSD提高了3.06和5.34个百分点。综上所述,所提网络可以更好地应用于小目标检测任务。

基于改进YOLOv7和ByteTrack的煤矿关键岗位人员不安全行为识别

应用人工智能技术对矿井提升机司机等煤矿关键岗位人员的行为进行实时识别,防止发生设备误操作等危险情况,对保障煤矿安全生产具有重要意义。针对基于图像特征的人员行为识别方法存在的抗背景干扰能力差与实时性不足问题,提出了一种基于改进YOLOv7和ByteTrack的煤矿关键岗位人员不安全行为识别方法。首先,基于MobileOne和C3对YOLOv7目标检测模型骨干与头部网络进行轻量化改进,提高模型推理速度;其次,融合ByteTrack跟踪算法,实现工作人员跟踪锁定,提高抗背景干扰能力;然后,采用MobileNetV2优化OpenPose的网络结构,提高对骨架特征的提取效率;最后,通过时空图卷积网络(ST−GCN)分析人体骨架关键点在时间序列上的空间结构和动态变化,实现对不安全行为的分析识别。实验结果表明:MobileOneC3−YOLO模型的精确率达93.7%,推理速度较YOLOv7模型提高了52%;融合ByteTrack的人员锁定模型锁定成功率达97.1%;改进OpenPose模型内存需求减少了170.3 MiB,在CPU与GPU上的推理速度分别提升了74.7%和54.9%;不安全行为识别模型对疲劳睡岗、离岗、侧身交谈和玩手机4种不安全行为的识别精确率达93.5%,推理速度达18.6帧/s。

基于点云图卷积神经网络的3D目标检测

随着激光雷达传感器的快速发展,目标检测算法从传统的2D检测快速转向3D检测。然而,激光雷达产生的点云是不规则和非结构化的数据,传统的卷积神经网络无法对其进行处理。基于此提出了一种新颖的图卷积神经网络,能够更好地利用数据的几何关系和拓扑结构直接从点云中学习特征以进行3D目标检测。首先将原始激光雷达点云数据进行下采样,再进行固定半径邻域图的构建,随后设计了一个新型的图卷积神经网络对点云进行编码来预测图中每个顶点所属对象的类别和形状。为提升检测准确度,网络中加入了一种校准机制来减少特征在不同维度变化时引入的平移误差,此外还引入了注意力机制,以使用权重来进一步强化输出的顶点特征。在KITTI数据集上进行实验,实验结果表明,此方法能够有效对3D目标进行检测。对比其他多种检测算法,此方法在检测准确度上具有一定的优势。

融合决策蕴涵的知识图谱推理方法

决策蕴涵是形式概念分析中的决策知识表示和推理工具。提出了一种基于决策蕴涵的知识图谱关系补全方法。基于知识图谱构建对应的决策背景,证明决策蕴涵可以等价表示知识图谱推理中的规则;为了快速挖掘决策蕴涵,对复杂的决策背景进行多次约简,证明约简后的决策背景也可以获取知识图谱推理中的规则;设计了从简化后的决策背景中获取决策蕴涵的算法,给出了使用决策蕴涵进行关系补全的步骤;最后通过实验验证了上述方法的有效性。该研究为完成知识图谱关系补全任务提供了新的思路,也为融合推理提供了一个新的选择。

任务驱动教学法在“机械制图”课程教学中的教学效果分析

“机械制图”课程是高职机电一体化、数控技术和机械制造与自动化专业的一门专业基础课,该课程的理论性、实践性都很强。在学习过程中要求培养学生丰富的空间想象力、“物—图—物”的思维变化能力及解决问题的综合能力。在教学过程中,通过创设情景将生产中的典型零件引入课堂教学中,使制图理论与生产实际相结合,做到学以致用,激发学生的学习兴趣和探索精神并取得了良好的教学效果。

结合Graph-FPN与稳健优化的开放世界目标检测

开放世界目标检测(OWOD)要求检测图像中所有已知和未知的目标类别,同时模型必须逐步学习新的类别以自适应更新知识。针对ORE方法存在的未知目标召回率低以及增量学习的灾难性遗忘等问题,提出一种基于图特征金字塔的稳健优化开放世界目标检测方法(GARO-ORE)。首先,利用Graph-FPN中的超像素图像结构以及上下文层和层次层的分层设计,获取丰富的语义信息并帮助模型准确定位未知目标;之后,利用稳健优化方法对不确定性综合考量,提出了基于平坦极小值的基类学习策略,极大限度地保证模型在学习新类别的同时避免遗忘先前学习到的类别知识;最后,采用基于知识迁移的新增类别权值初始化方法提高模型对新类别的适应性。在OWOD数据集上的实验结果表明,GARO-ORE在未知类别召回率上取得较优的检测结果,在10+10、15+5、19+1三种增量目标检测(iOD)任务中,其mAP指标分别提升了1.38、1.42和1.44个百分点。可以看出,GARO-ORE能够较好地提高未知目标检测的召回率,并且在有效缓解旧任务灾难性遗忘问题的同时促进后续任务的学习。

基于并行图神经网络的3D点云目标检测

点云在目标检测等领域中有很重要的作用。目前对点云特征提取之前需要对点云进行预处理,通常的处理方法包括将点云投影到二维平面、利用栅格法将点云体素化或直接基于原始点云进行处理。这些方法都会损失一定的原始信息,直接处理点云的原始信息面临计算量很大的问题。为解决上述问题,设计了一个平行图卷积神经网络。在将点云转化为图的基础上,利用图卷积神经网络不同的卷积核来提取点云的特征,并通过提出的一种注意力机制进行不同层次的特征融合。提出的方法可以在最大程度上保留点云原始信息的基础上,从不同的角度提取图的特征。在KITTI数据集上的实验表明,所提出的方法是有效的,并且取得了较好的结果。

一种多网融合的分阶段考生行为识别检测算法

针对现有考场考生行为识别存在检测范围小、识别准确率不高的问题,提出了一种多网融合的考生行为识别检测算法.考生定位采用轻量化检测网络Yolov4-Tiny并对其进行改进.首先,在主干部分嵌入通道空间双注意力机制CBAM,解决了考场中考生小目标和遮挡目标难以识别的问题.其次,在特征提取后引入PPM金字塔池化结构,能够提高网络获取全局信息的能力.然后,将改进后的网络融入Alphapose人体姿态估计模型提取出考生的骨骼关键点坐标信息.最后,通过时空图卷积神经网络ST-GCN进行行为分类.实验表明,通过迁移学习的方式在数据集NTU-RGB+D得到预训练模型,最终在考生行为数据集上对4类行为识别的平均准确率达到了94.6%,能够有效的完成考场中考生的行为识别检测任务.

基于层次图注意的异构多目标轨迹预测方法

有效预测周边多目标的未来轨迹是智能汽车决策和运动规划成功的关键。大多数现有研究考虑车辆个体行为之间的成对交互关系,而忽略异构交通参与者之间不同的反应模式和其他场景因素对预测的影响,使得预测轨迹的合理性低,影响运动控制的安全性。鉴于此,本文提出了一种基于层次图注意的异构多目标轨迹预测方法HGATP,首先创新性地构建类别-目标-车道的3层次图,并使用GRU和GCN分别对不同类型的目标进行独立的类别编码,捕捉不同类别的特征;其次,为强化异构目标交互图的边缘表示,构建层次图注意力机制分别获取类别和类别之间的交互以及目标和车道之间的交互,实现异构多目标间高效交互和共享地图;最后,基于目标轨迹信息和区域的车道信息构建预测网络预测多目标的轨迹。为评估模型性能,分别在INTERACTION和nuScenes数据集上进行实验。实验表明,所提模型在nuScenes数据集上单目标轨迹输出的平均误差损失和最终位移损失均减小了20%以上,在INTERACTION数据集上多目标轨迹输出的ADE损失效果较基线方法减小了2 m误差,提升了复杂道路结构下车辆行驶轨迹预测的合理性。

基于多阶段关联的多目标跟踪算法

针对现有多目标跟踪算法关联过程中,外观和几何信息利用不充分,同时跟踪对象的邻域间信息交互不足的问题,提出了一种基于多阶段关联的多目标跟踪算法,根据目标之间的不同关联状态,将几何信息和外观信息合理应用于不同关联阶段。算法提出了基于正则化距离交并比(DIoU-Mea)的匹配模块,仅利用几何信息快速将强关联目标匹配。同时基于稀疏图网络(GNN)的关联模块对跟踪对象的邻域建模,促进对象之间的信息交换并提高跟踪精度。基于通道注意力融合特征模型和形状交并比的双校验模块(Double-Revise)进一步细化跟踪结果。所提算法利用不同阶段匹配算法的互补优势,在各阶段合理利用外观和几何信息,过滤掉错误的匹配并识别正确的目标对应关系,在MOT17数据集上进行了验证与测试,其高阶跟踪精度(HOTA)在测试集中达到了64.8%,表明算法具有较好的性能,在密集场景下具有较好的鲁棒性。

用于通用目标跟踪的图记忆跟踪器

基于匹配的跟踪算法能够将特定目标的识别问题转化为模板匹配问题,具有较高的响应速度和跟踪精度,这使它在通用目标跟踪中占有优势.然而,此类算法缺乏在线适应性和对特定数据的针对性,难以应对目标和跟踪场景的复杂变化.针对这一问题,提出一种基于图结构的图记忆跟踪器以提升通用目标跟踪的准确性.首先,利用图的节点匹配机制实现目标先验知识与搜索输入的点对点局部匹配,并根据匹配结果定位目标位置.其次,利用目标位置信息生成新模板.为抑制相似实例的干扰,根据相似实例分类响应呈现多峰的特点对新模板进行动态筛选.最后,将经过筛选的新模板作为候选信息存入存储模块.为了防止筛选失误引起后续错误叠加、减少错误信息的参与度,存储模块对候选信息进行实时更新.视频序列上的测试结果显示,图记忆跟踪器的存储模块能够及时更新候选信息,保留目标不同时刻的状态.常用跟踪基准上的结果显示,图记忆跟踪器在成功率和精度上优于基于匹配的基线跟踪器SiamRPN.与最近的先进跟踪器CstNet相比,图记忆跟踪器在OTB100基准上获得了11.75%的重叠成功率增益,10.53%的精度增益,在VOT2016基准上获得了8.59%的预期平均重叠增益.速度测试的结果显示,图记忆跟踪器能够在单片RTX2070上实现29帧/s的运行速度.

结合图采样和图注意力的3D目标检测方法

在点云中进行三维目标检测时,小目标和复杂背景下目标的检测精度不足是突出的问题之一。针对该问题,提出了一种基于图采样和图注意力机制的3D点云目标检测方法。减小基准网络下采样体素大小以保持小目标的点云密度;引入图采样降低在点云中构造拓扑图的代价;通过对图采样前后的图分别嵌入自注意力机制,提高网络的特征提取能力。在KITTI数据集上与基准网络Point-GNN相比,对汽车目标在复杂场景上的检测精度提升了1.96%,对行人与骑行者目标在中等难度场景和复杂场景上的检测精度分别提升4.21%和2.57%;与Point-GNN相比,减少了15%的训练时间。实验结果表明,设计的方法对于3D点云中小目标和复杂背景下目标的检测更加有效,图采样方法还能够提升模型的训练效率。