全卷积注意力机制神经网络的图像语义分割

全卷积神经网络是一种强大的端到端的模型,在语义分割领域应用广泛,获得了巨大的成功。研究人员提出了一系列基于完全卷积神经网络的方法,但是随着卷积和池化的持续性下采样,图像的上下文信息将会丢失,影响了像素级分类。针对完全卷积网络上下文信息丢失问题,提出基于像素的注意力方法。该方法利用计算高级特征图像素之间的联系来获取全局信息,增强像素之间的相关性,再结合空洞空间金字塔池化进一步提取图像的特征信息。针对图像的高层特征图像素丢失的问题,提出了基于图像不同层级的注意力方法。该方法将高层特征图中的信息作为指导对低层特征图中隐藏的信息进行挖掘,然后和高级特征图进行融合,充分利用高级特征图信息和低级特征图的信息。在实验方面,通过对比所提不同模块对全卷积神经网络分割性能的影响,验证了所提方法的有效性。同时在公认的图像语义分割数据集Cityscapes上与当前先进的网络进行实验对比,结果显示所提方法在客观评价指标和主观效果方面均存在优越性,并在Cityscapes官网测试集中达到了69.3%的准确率,性能比近期几个先进网络高出3~5个百分点。

基于YOLOv8的气象设备识别监控算法

在人烟稀少的地区,气象设备的监测与检查面临设备安置位置偏僻、缺乏实时巡检等问题。为解决这一难题,基于在图像识别领域表现卓越的YOLOv8算法,提出了一种新的气象设备识别监控模型,通过将原有的高效的空间金字塔池化(spatial pyramid pooling-fast,SPPF)层替换为空间金字塔池化-全连接空间金字塔卷积(spatial pyramid pooling-fully connected spatial pyramid convolution,SPPFCSPC)层,成功降低了计算量,提升了气象设备检测的速度。为了进一步提升模型在复杂环境下的性能,提出了YOLOv8-SA模型,通过在主干网络(backbone)中加入多头自注意力机制,更精准地捕获图像中不同区域之间的关联性,有力地提高了模型的准确性。为了验证模型的有效性,创建了一个专门的气象设备数据集,并进行了对比实验。实验结果表明,本文提出的YOLOv8-SA模型在检测速度和准确性方面均取得了显著的提升,在自制的数据集中检测精度为98.6%,与传统的YOLOv8模型相比,检测精度提升了0.6%。该模型可有效解决人烟稀少地区气象设备的监测问题,为提升监测系统的实用性和效率提供新思路。

多尺度注意力引导的全景分割网络

全景分割是近年来新提出的图像分割任务。现有全景分割模型大都对前景实例对象和背景未定形区采用不同的方式进行特征表示,因此需要额外的后处理和融合操作来处理各种实例重叠和语义冲突问题。全卷积全景分割网络实现了统一的特征表示,省去了这些复杂操作,但其对于前景实例对象的分割准确率不高,对图像中远距离小目标的分割效果不是很理想。针对这些问题,基于全卷积全景分割网络进行改进优化,提出一种多尺度注意力引导的全景分割网络。首先改进特征提取网络,通过在主干网中添加一条自底向上的辅助路径来增强模型的多尺度特征获取能力。其次提出一种注意力模块,通过将空洞空间金字塔池化与通道注意力融合,来引导卷积核更新,生成更匹配的权重。在Cityscapes数据集上与全卷积全景分割网络进行对比实验,图像实例级全景分割质量提高了2.74个百分点,背景未定形区全景分割质量和综合全景分割质量分别提高了1.36个百分点和1.94个百分点,对于交通灯和摩托车等小物体的类别检测准确率分别提高了4.4个百分点和8.3个百分点。提出的全景分割网络综合了全卷积全景分割网络、多尺度特征及注意力机制的优点,使得图像实例级全景分割准确率更高。

基于空洞卷积神经网络的毒株胚蛋裂纹分割

针对工厂机械设备的噪声和振动、胚蛋蛋壳表面的污斑和裂纹大小、光源打光方式会对裂纹检测产生严重影响,提出一种基于密集空洞卷积模块(DACM)与空洞空间金字塔池化结构(ASPP)的卷积神经网络(CNN)分割方法分割胚蛋裂纹。采用编码器-解码器网络结构与密集连接的空洞卷积结合,增强空间信息表示并重建不同尺度目标信息;同时,在网络浅层引入ASPP,获取多尺度特征,增强细节信息,提高网络分割性能。结果表明:在自制毒株胚蛋顶部裂纹与侧面裂纹数据集上,该方法的平均交并比(MIoU)分别达到了74.2%与81.3%,具有较强的鲁棒性。

基于卷积神经网络的花朵图片分类算法

针对目前利用卷积神经网络进行花朵图像分类时,全连接层产生的参数冗余和破坏空间结构信息问题,提出一种有效的改进方法。首先用1×n和n×1卷积核替换n×n卷积核,然后在卷积层后连接空间金字塔池化进行降维提取特征,最后在Softmax分类器输出概率分布。实验表明本文的方法不仅提高了准确率,而且使训练时间下降了一半,大大提高了训练的速度。

基于FCN-AC-ASPP的手写体去除方法

针对印刷体和手写体分类准确率不够高的问题,本文首先提出了一种印刷体与手写体像素级样本制作方法,并制作了印刷体和手写体数据集。其次提出了一种基于带空洞卷积和空洞空间金字塔池化的全卷积神经网络(FCN-AC-ASPP)模型。经过对FCNAC-ASPP模型的训练和检测,该模型的分类准确率平均交并比(IoU)达到96.10%,优于全卷积神经网络(FCN)、DeeplabV3+、带空洞卷积的全卷积神经网络(FCN-AC)模型。最后对于同时含有印刷体和手写体的新图片,用训练好的FCN-AC-ASPP模型对印刷体和手写体分类,从而把手写体去除。

基于多尺度特征模糊卷积神经网络的遥感图像分割

为解决高分辨率遥感图像“同谱异物、同物异谱”的不确定性以及大量空间信息利用率低的问题,提出一种基于多尺度特征的模糊卷积神经网络模型。该模型在长跳跃连接部分加入模糊学习模块去除噪声特征,缓解类别间的不确定性;利用多孔空间金字塔池化融合多尺度特征,提取完备的空间上下文信息,提升分割性能。试验结果表明,该模型在Potsdam数据集和Vaihingen数据集上的整体准确度分别达到92.65%和93.19%,明显优于现有流行的深度学习模型,能够显著提升高分辨率遥感图像的语义分割性能。

带语义分割的轻量化车道线检测算法

为了解决在计算资源有限的车载嵌入式设备中车道线检测算法存在实时性差、精度不高的问题,提出了一种带语义分割的轻量化车道线检测算法(SegLaneNet).首先通过简化并联的空洞卷积支路,增加跳跃连接结构,提出新的空洞空间金字塔池化模块(ASPP-tiny);接着定义模型的多尺度输入、跳跃连接的浅层特征与深层特征融合、并联不同采样率的空洞卷积特征融合;再有对自编码器中的上采样与下采样卷积进行剪枝操作,提出一种新的轻量化全卷积语义分割算法SegLaneNet应用于车道线检测;最后与Baseline算法相比,本文的SegLaneNet算法在图森(TuSimple)车道线检测挑战数据集上测试的准确率提高了约2%,假正例(FP)减少了3%以上,假负例(FN)减少了约2%.在GPU服务器上测试运行速度达165帧/秒(FPS),同时在嵌入式设备中运算速度达到16帧/秒(FPS).测试结果表明带语义分割的轻量化车道线检测算法能够满足车载嵌入式设备实时、准确的车道线检测工作.

基于FCN的图像语义分割算法研究

图像语义分割的传统方法是依靠人工设计提取特征,用机器学习的方法进行分类,来达到分割的效果,但是过程比较复杂,且最终的分割效果也不理想。为解决该问题,提出运用深度学习的方法自动提取图像中物体特征,实现端到端训练,并提升分割精度。采用的基础网络是ResNet-50,同时采用空洞空间金字塔池化模块进行有效的特征融合,并在最后一组卷积块中使用了空洞卷积来控制感受野,以提取多尺度信息。在解码阶段采用密集上采样卷积来获得最终的输出预测图。实验表明,该方法获得mIoU值为86.185%。

全卷积神经网络下的多光谱遥感影像分割

目的传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC(dense upsampling convolution)结构的全卷积神经网络。该网络结构使用改进的Dense Net作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场(CRFs)对预测结果进行后处理,细化地物边界,优化分割结果。结果结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。

基于全卷积神经网络的车道线检测

基于传统图像处理方法的车道线检测算法,易受到各种自然条件的影响,鲁棒性差、检测准确率不高,且不具备特征的语义描述能力,当图像的像素发生变化时检测效果会明显下降。针对这些问题,为提高复杂场景的车道线检测准确率,提出一种基于多尺度全卷积神经网络的车道线检测模型。该模型首先采用空间金字塔池化结构提取多尺度的图像纹理信息来增强深度网络的表征能力;其次选用加权损失函数提高车道线的检测准确率;最后通过训练网络选取最优参数和方法来使其最优,完成端到端的道路场景语义分割,以实现车道线的检测。在Tusimple数据集上进行测试,结果表明该模型具有较好的车道线检测能力,在多场景条件下车道线检测准确率能达到95.56%,能有效辅助汽车驾驶。

实时视觉目标跟踪与视频对象分割多任务框架

目的针对视觉目标跟踪(video object tracking,VOT)和视频对象分割(video object segmentation,VOS)问题,研究人员提出了多个多任务处理框架,但是该类框架的精确度和鲁棒性较差。针对此问题,本文提出一个融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架。方法文中提出的架构使用了由空洞深度可分离卷积组成的更加多尺度的空洞空间金字塔池化模块,以及具备帧间信息的帧间掩模传播模块,使得网络对多尺度目标对象分割能力更强,同时具备更好的鲁棒性。结果本文方法在视觉目标跟踪VOT-2016和VOT-2018数据集上的期望平均重叠率(expected average overlap,EAO)分别达到了0.462和0.408,分别比Siam Mask高了0.029和0.028,达到了最先进的结果,并且表现出更好的鲁棒性。在视频对象分割DAVIS(densely annotated video segmentation)-2016和DAVIS-2017数据集上也取得了有竞争力的结果。其中,在多目标对象分割DAVIS-2017数据集上,本文方法比Siam Mask有更好的性能表现,区域相似度的杰卡德系数的平均值J_(M)和轮廓精确度的F度量的平均值F_(M)分别达到了56.0和59.0,并且区域和轮廓的衰变值J_(D)和F_(D)都比Siam Mask中的低,分别为17.9和19.8。同时运行速度为45帧/s,达到了实时的运行速度。结论文中提出的融合多尺度上下文信息和视频帧间信息的实时视觉目标跟踪与视频对象分割多任务的端到端框架,充分捕捉了多尺度上下文信息并且利用了视频帧间的信息,使得网络对多尺度目标对象分割能力更强的同时具备更好的鲁棒性。