改进YOLOv5s-Seg的高效实时实例分割模型

实例分割是图像分割的重要组成部分,同时也是计算机视觉领域的一个重要课题。然而现有实例分割模型不能在保证实时性的同时保证模型分割精度,因此在实时实例分割任务中一直存在精度过低、定位不精确的问题。针对此问题,提出了一种基于YOLOv5s-Seg改进的实时实例分割模型。以YOLOv5s-Seg作为网络的基础模型,主干网络选用Repvit m3网络,然后改进FPN结构,在FPN结构中将原始得到的C3卷积模块升级为RsRepVitBlock模块,并在其内部使用ECA注意力机制,最后采用SIoU作为模型的边界框损失函数。该算法在公开数据集PASCAL VOC 2012上的实验结果显示,改进后的模型分割精度mAP达到了65.7%,较原模型YOLOv5s-Seg提高了10.6个百分点。该模型大幅提升了分割精度,并且有效地改善了分割任务中定位不准确的问题。相较于其他模型,具有显著的精度优势和更好的模型稳定性。

基于加权实例推理的缓倾斜综采工作面液压支架选型研究

为实现地质构造简单的缓倾斜综采工作面液压支架智能化选型,提出了一种基于加权实例推理的液压支架选型方法。首先,建立了液压支架选型实例库;其次,采用粗糙集理论和序关系分析法进行权重构造;另外,将液压支架的条件属性分为3种类型计算相似度;最后通过匹配实例选型。以某煤矿选型方案为例,并以50组液压支架的属性数据进行验证。结果表明,该方法的准确率为88%,能够为液压支架的智能化选型提供较好的参考依据。

航迹先验融合特征的车载雷达实例分割算法

点云实例分割是场景感知中的基本任务。近年来,随着车载毫米波雷达分辨能力的提高,大量基于毫米波雷达散射点的实例分割方案被提出。实例分割的结果可作为跟踪的输入,跟踪得到各个实例的航迹信息,为后续的车辆决策与路径规划提供数据支持。然而,面向毫米波雷达的实例分割方法仍存在以下挑战。一方面,相较于激光雷达,毫米波雷达观测下的散射点更稀疏,信息量较少。当同一实例的散射点距离较远或者多个相邻实例密集分布时,分割性能显著下降;另一方面,雷达穿透性有限,路面障碍物或交通参与者对实例造成部分遮挡时,分割算法无法对实例进行正确分割和判别。考虑到实际行车场景的时间连续性,利用交通参与者的航迹先验信息,即该参与者上一时刻和当前时刻的位置信息,可以克服上述问题。因此,本文提出了一种利用航迹先验融合上一帧散射点特征的车载雷达点云分割算法。该算法利用航迹的连续性,在相邻两帧之间计算实例和散射点的对应关系并基于上述关系完成散射点特征融合。相较于单帧,融合后的高质量特征不仅信息更丰富,不同实例间的特征差异更明显,而且能弥补由于遮挡导致的信息缺失。实验结果显示,所提算法的平均覆盖率和平均精度指标分别优于基于单帧的分割算法6.19%和4.54%。该结果表明,所提算法优于文献中其他方法,能有效解决上述分割算法存在的问题。此外,与基于单帧的分割方案在典型场景的可视化对比中,所提方法也凸显了其有效性和潜力。未来,我们将进一步挖掘轨迹先验信息,以加强特征提取,同时深入探讨分割性能与帧数之间的关系。

基于改进YOLO v8n-seg的羊只实例分割方法

羊只实例分割是实现羊只识别和跟踪、行为分析和管理、疾病监测等任务的重要前提。针对规模化羊场复杂养殖环境中,羊只个体存在遮挡、光线昏暗、个体颜色与背景相似等情况所导致的羊只实例错检、漏检问题,提出了一种基于改进YOLO v8n-seg的羊只实例分割方法。以YOLO v8n-seg网络作为基础模型进行羊只个体分割任务,首先,引入Large separable kernel attention模块以增强模型对实例重要特征信息的捕捉能力,提高特征的代表性及模型的鲁棒性;其次,采用超实时语义分割模型DWR-Seg中的Dilation-wise residual模块替换C2f中的Bottleneck模块,以优化模型对网络高层特征的提取能力,扩展模型感受野,增强上下文语义之间的联系,生成带有丰富特征信息的新特征图;最后,引用Dilated reparam block模块对C2f进行二次改进,多次融合从网络高层提取到的特征信息,增强模型对特征的理解能力。试验结果表明,改进后的YOLO v8n-LDD-seg对羊只实例的平均分割精度mAP_(50)达到92.08%,mAP_(50:90)达到66.54%,相较于YOLO v8n-seg,分别提升3.06、3.96个百分点。YOLO v8n-LDD-seg有效提高了羊只个体检测精度,提升了羊只实例分割效果,为复杂养殖环境下羊只实例检测和分割提供了技术支持。

改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

基于稀疏实例与位置感知卷积的植物叶片实时分割方法

植物叶片分割在高通量植物表型数据获取任务中起着关键作用。目前,多数植物叶片分割方法专注于提高模型分割精度,却忽视模型复杂度和推理速度。针对该问题,本研究提出一种基于稀疏实例激活与有效位置感知卷积的实例分割模型(ePaCC-SparseInst),实现植物叶片实时、精确分割。在ePaCC-SparseInst中引入1组稀疏实例激活图作为叶片对象表示方式,并使用二部图匹配算法实现预测对象与实例激活图的一一映射,从而避免了繁琐的非极大值抑制(Non-maximum suppression,NMS)运算,提高了模型的推理速度。此外,在实例分支中引入有效位置感知卷积(ePaCC)模块,在增大模型全局感受野的同时提高了模型的推理速度。在Komatsuna数据集上,ePaCC-SparseInst平均分割精度(AP)达到85.33%,每秒传输帧数达到43.52。在相同训练条件下,ePaCC-SparseInst的性能优于SparseInst、Mask R-CNN、CondInst等实例分割算法。此外在CVPPP A5数据集上,ePaCC-SparseInst较上述算法同样取得了更好的分割精度和推理速度。本研究提出的方法采用纯卷积的架构实现了叶片的实时分割,可以为在移动端或边缘设备上获取植物表型数据提供技术支持。

基于深度与实例分割融合的单目3D目标检测方法

针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

基于改进YOLOv8n的变电设备红外图像实例分割算法

变电设备是电网输变电过程的重要组成部分,为保证电网的正常运行,需对变电设备进行故障诊断,红外图像中变电设备的精确分割是故障诊断的关键步骤。针对红外图像复杂场景中变电设备分割时存在的分割精度低和漏分割的问题,提出一种基于改进YOLOv8n的变电设备红外图像实例分割算法。首先设计一种上下文引导的特征增强下采样块替换YOLOv8n中的下采样卷积层,充分利用上下文信息和全局信息,增强模型对复杂场景的理解能力;然后引入可变形卷积重构Backbone中的C2f模块,增强对不规则设备特征的提取能力;最后用Wise-IOUv2对损失函数进行优化,提高模型的泛化性和分类能力。使用变电设备红外图像数据集对该模型进行实验验证,实验结果表明,相较于YOLOv8n基准模型,本文所提方法的mAP50和mAP50:95分别提高了4.2%和3.5%,所提方法能够较好地解决复杂场景下设备漏分割的问题,有效提高变电设备实例分割的准确率。

基于多尺度注意力机制的实例分割卷积神经网络

在Mask R-CNN实例分割模型的基础上提出一种新的深度学习方法MixedMask。该方法提出并应用两种有效的策略:(1)使用混合尺度的卷积核,提高网络对分辨率较低实例的提取能力;(2)在压缩激励网络的基础上进行改进,解决原网络中降低维度导致的通道信息丢失问题。在气球数据集和xBD数据集上进行测试,该算法分别达到了83.46%和58.92%的AP(IoU=50),相比Mask R-CNN模型,分别提升了1.3%和5.9%。

基于深度学习的实例分割边界框回归方法研究

针对实例分割任务中图像中可能出现相互遮挡或边缘模糊导致边界框定位不准确的问题,本文提出了一种新的边界框回归损失函数。将边界框位置预测转化为估计定位置信度随位置变化的概率分布;考虑坐标点间存在联系,提出一种面积差计算方法;为了证明此方法可以很好地应用于先检测后分割的实例分割模型,本文使用Mask R-CNN作为基线。实验结果表明:在边界框检测及实例分割任务中,本文方法的精度优于其他方法,对于小物体的检测与分割效果更显著,训练和评估速度也更快。

改进YOLACT的服装图像实例分割方法

针对服装图像实例分割精度与速度较低的问题,提出一种基于改进YOLACT的服装图像实例分割方法。以YOLACT为基础模型,首先在ResNet101网络中采用深度可分离卷积代替传统卷积,减少模型计算量和模型参数,加快模型速度;然后,在模板生成网络后引入高效通道注意力模块,优化输出特征,捕获服装图像的跨通道交互信息,加强对掩膜分支的特征提取能力;最后,训练过程采用LeakyReLU激活函数,避免反向传播时权值信息得不到及时更新,提升模型对服装图像负值特征信息的提取能力。结果表明:与原模型相比,所提方法能有效减少模型参数量,在提升速度的同时提高了精度,其速度提升了4.82帧/s,平均精度提升了5.4%。

基于多模态图像信息及改进实例分割网络的肉牛体尺自动测量方法

[目的/意义]牛的体尺参数是反映牛身体发育状况的关键指标,也是牛选育过程的关键因素。为解决规模化肉牛牧场复杂环境对肉牛体尺的测量需求,设计了一种图像采集装置以及体尺自动测量算法。[方法]首先搭建肉牛行走通道,当肉牛通过通道后进入限制装置,用英特尔双目深度相机D455对牛只右侧图像进行RGB与深度图的采集。其次,为避免复杂环境背景的影响,提出一种改进后的实例分割网络Mask2former来对牛只二维图进行前景轮廓提取,对轮廓进行区间划分,利用计算曲率分析方法找到所需体尺测点。然后,将原始深度图转换为点云数据,对点云进行点云滤波、分割和深度图牛只区域的空值填充,以保留牛体区域的点云完整,从而找到所需测点并返回到二维数据中。最后,将二维像素点投影到三维点云中,利用相机参数计算出投影点的世界坐标,从而进行体尺的自动化计算,最终提取肉牛体高、十字部高、体斜长和管围4种体尺参数。[结果与讨论]改进的实例分割网络与Mask R-CNN、PointRend、Queryinst等模型相比具有更好的分割结果。采用本研究测得的这4种体尺平均相对误差分别为4.32%、3.71%、5.58%和6.25%。[结论]本研究开发的肉牛图像采集装置及相应的图像处理方法可以满足该牧场对肉牛体尺无接触自动测量误差小于8%的精度要求,为非接触式肉牛体尺自动化测量提供了理论与实践指导。

基于特征与数据增强的城市街景实例分割算法

城市街景分割是智能交通领域中一项关键的技术,对于城市街景环境中的客观因素例如遮挡、小目标等问题,提出一种基于特征增强与数据增强的城市街景实例分割算法DF-SOLO(data augmentation and feature en-hancement SOLO)。针对遮挡问题,通过非对称自编-解码器架构对城市街景图像进行数据增强,与传统方法相比处理后的图像更贴近真实的源数据分布。针对城市街景中的小目标分割问题,引入特征加权和特征融合的思想,特征加权模块在特征处理过程中能够根据特征的重要程度赋予不同的权值,提高对重要特征的利用率;特征融合模块从更细粒度的角度进行多尺度特征融合以解决尺度敏感问题,提高语义特征的描述性。通过在Cityscapes数据集上的实验表明,提出的实例分割算法在保证实时性的同时相较于单阶段SOLO算法和两阶段Mask R-CNN算法的mAP值上分别提升2.1%和2%,改善了对小目标和遮挡目标的分割效果。

基于数据驱动的高职精准混合教学模式构建与实例分析

深化大数据技术在高职教育领域的融合与发展,以推动高职教育改革和高质量教育为核心引擎,以学生学习全过程数据为依托,以精准教学、混合式教学、数据驱动相关理论为基础,构建基于数据驱动的高职精准混合教学模式。该教学模式融合“线上”与“线下”的教学优势,从教学目标、课前准备、教学过程和教学评价与预测四个环节出发,聚焦于精准混合教学的操作框架与实施路径,实现智能化、个性化、精细化、科学化的精准混合式教学。在高职“高等数学”课程的实践验证中,从教学效果、学习能力、学习成绩等多个维度将混合式教学与传统教学方式比对,表明精准混合式教学模式的有效性和优越性,全方面促进高职教学的高质量发展。

动态场景下基于实例分割与光流的语义SLAM建图

视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。

基于OBE理念的Yolov5算法实例教学研究

针对深度学习课程理论知识多、教师讲解困难、学生难于理解的教学实际,重点研究深度学习课程中有关图像处理的最新算法Yolov5的实例教学策略,以提高学生对深度学习课程的学习兴趣,增强学生发现问题并解决问题的能力。本实例讲解了基于OBE理念的Yolov5口罩佩戴识别算法,首先进行教学方法阐述与分析;其次进行教学实例的选择和算法的实现讲解;最后通过教学反思和教学评价促进教学质量的提升。

教育人工智能的应用场景和典型实例

随着智能技术的迭代升级和创新发展,人工智能正在深刻改变人类的生产和生活方式,引领社会迈入人机协同、跨界融合、共创分享的智能时代。近年来,党和国家高度重视人工智能与教育的融合发展,相继出台了《新一代人工智能发展规划》《高等学校人工智能创新行动计划》等政策文件。

基于距离相关系数的局部实例加权朴素贝叶斯文本分类算法

朴素贝叶斯算法具有简单高效的特点,被广泛应用于文本分类。方法要求属性之间满足条件独立性假设,然而该假设在现实中很难满足。同时,随着大数据时代到来,文本数据呈现非线性结构的特点,经典朴素贝叶斯算法拟合效果不高。为解决以上问题,本文提出了一种基于距离相关系数的局部实例加权朴素贝叶斯分类算法。首先,计算属性和类别的距离相关系数,并将其作为属性权重嵌入到文档距离测度中,构建一种新的距离度量方法;其次,测算训练样本和测试样本的距离,进行实例选择和实例加权,构建局部实例加权贝叶斯文本分类器;最后,利用WEKA平台上的15个文本数据集对算法性能进行实验比较。结果表明新提出的算法在分类精度上均优于三种经典的朴素贝叶斯文本分类器。

基于实例分割技术的草莓叶龄及冠幅表型快速提取方法

[目的/意义]为解决高通量草莓叶龄及冠幅提取问题,提出一种基于移动式表型平台和实例分割技术的高通量表型提取方法。[方法]利用小型移动式表型平台对温室内盆栽草莓植株的俯拍图像进行数据获取,并利用改进型Mask R-CNN(Convolutional Neural Network)模型对图像进行处理,以此获取草莓植株叶龄信息。首先利用带有分组注意力模块的Split-Attention Networks(ResNeSt)骨干网络替换原有网络,从而提高图像特征信息提取精度和执行效率。在训练时,利用Mosaic方法对草莓图像进行数据增强,并且使用二元交叉熵损失函数对原本的交叉熵分类损失函数进行优化,以达到更好的植株与叶片的检测准确度。在此基础上,对训练结果进行后处理,利用标定比值对冠幅进行计算。[结果和讨论]该方法能够在ResNeSt-101骨干网络下,实现80.1%的掩膜准确率和89.6%的检测框准确率,并且能够以99.3%的植株检测正确率和98.0%的叶片数量检出率实现高通量的草莓叶龄估算工作。而模型推理后草莓植株南北和东西向冠幅测试值与真实值相比误差均低于5%的约占98.1%。[结论]该方法有着较高的鲁棒性,能够为智慧农业下高通量植物表型获取与解析工作提供技术支持。