新工科背景下软件工程专业实践能力提升改革与实践

针对当前省域本科高校软件工程人才培养与产业发展需求衔接程度不够,学生工程实践能力弱,应用创新型人才培养体系需进一步完善等问题,以行业需求为导向,以提升工程实践能力为核心,校企协同与共享为主要途径,探索建立新形势下软件工程专业应用创新型人才培养的新模式。经过四年多的探索与实践,形成一套行之有效的应用创新型人才培养体系,可有效提升学生的实践能力。实践表明,人才培养质量显著提升,推广应用效果显著。

双模态双向感知下语义信息增强的多模态情感分析

针对不同模态间存在情感信息分布不均匀,难以获得更深层次的多模态情感语义信息问题,提出了一种双模态双向感知下语义信息增强的多模态情感分析方法。对文本-视觉模态、文本-音频模态分别融合,捕获双模态话语中的相互依赖关系,获得模态间双向的上下文感知信息;考虑到双模态在融合时产生较多冗余信息,采用门控机制选择有效的情感特征,以提升识别关键情感信息的能力;通过跨模态信息交互机制对多种模态间的信息进行建模,得到语义信息增强的模态特征向量。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

电动汽车行驶稳定性模型预测控制仿真研究

为了提高电动汽车行驶的稳定性,提出了一种集成的汽车和车轮稳定性控制系统,并对汽车行驶的稳定性控制效果进行仿真。创建电动汽车模型简图,给出电动汽车动力学方程式。采用模型预测控制技术,设计了一种集成的汽车和车轮稳定性控制器。采用MATLAB软件对电动汽车横摆角速度、行驶速度和侧滑角进行仿真,与无模型预测控制器输出结果进行对比。结果显示:采用无模型预测控制器,电动汽车横摆角速度、行驶速度跟踪误差较大,振动幅度较大,产生的侧滑角较大。采用模型预测控制器,电动汽车横摆角速度、行驶速度跟踪误差较小,振动幅度较小,产生的侧滑角较小。采用模型预测控制器,能够提高电动汽车行驶的稳定性,避免汽车在突然转弯时发生侧翻现象。

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题,本文提出了一种语义分割网络(LDPANet).首先,将空洞卷积与引入残差学习单元的深度可分离卷积结合,来优化编码器结构,在降低了计算复杂度的同时缓解梯度消失的问题.然后利用层传递的迭代空洞空间金字塔,将自顶向下的特征信息依次融合,提高了上下文信息的有效交互能力;在多尺度特征融合之后引入属性注意力模块,使网络抑制冗余信息,强化重要特征.再者,以通道扩展上采样代替双线插值上采样作为解码器,进一步提升了特征图的分辨率.最后,LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%,与近几年网络模型相比,本文网络模型可以精确地提取像素的位置信息以及空间维度信息,提高了语义分割的准确率.

基于脉冲神经网络的时空交互图像分类

脉冲神经网络作为人工智能发展的重要方向之一,在神经形态工程和类脑计算领域得到了广泛的关注.为解决脉冲神经网络泛化性差、内存和时间消耗较大等问题,本文提出了一种基于脉冲神经网络的时空交互图像分类方法.首先引入时间有效训练算法弥补梯度下降过程中的动能损失;其次融合空间随时间学习算法,提高网络对信息的高效处理能力;最后添加空间注意力机制,增强网络对空间维度上重要特征的捕捉能力.实验结果表明,改进后的方法在CIFAR10、DVS Gesture、CIFAR10-DVS这3个数据集上的训练内存占用分别减少了46.68%、48.52%、10.46%,训练速度分别提升了2.80倍、1.31倍、2.76倍,在保证精度的情况下,网络性能得到有效提升.

基于特征重用和膨胀卷积的遥感图像舰船检测

在光学遥感图像中,港口内的舰船目标通常处于密集的船只群中,并受到周围环境的干扰和遮挡,如集装箱、车辆等。为了进一步提高现有舰船目标检测算法的精度和泛化性能,提出了一种基于特征重用和膨胀卷积的遥感图像舰船检测算法。首先构建了基于分组卷积和拆分注意力的残差块来提取特征,同时嵌入可变形卷积提取更加符合舰船尺度变化的特征;接着,构造了多尺度感受野模块,通过并行提取多尺度特征后再进行融合来减少信息损失;最后,在原有特征金字塔的基础上构建了一条自底向上的特征重用聚合路径以提高特征表示能力。在大型遥感数据集DOTA和舰船数据集HRSC2016上进行实验,实验结果表明,所提方法能够有效缓解舰船目标漏检和误检问题,提高了遥感图像舰船目标检测的精度。

融合混合注意力机制与多尺度特征增强的高分影像建筑物提取

由于复杂背景变换和建筑物形状多样化等因素影响,从高分辨率遥感图像中准确提取建筑物信息面临着挑战。该文提出了一种融合混合注意力机制与多尺度特征增强的高分辨率建筑物语义分割网络(building mining net,BMNet)。首先,编码器部分使用VGG-16作为主干网络来提取特征,得到4层特征表示;然后设计解码器用于解决多尺度信息中高层特征的细节信息丢失问题,引入了混合通道注意力和空间注意力的串联注意力机制(series attention module,SAM),增强高层特征的表示能力;同时,设计了一种渐进式特征增强的建筑物信息挖掘模块(building mining module,BMM),进一步提高建筑物分割的准确性。BMM把上采样后的特征映射、经过SAM处理的特征映射以及初始预测结果作为输入,获取背景噪声信息,并利用所设计的上下文信息探索模块滤除背景信息,在经过多次BMM处理后得到最佳预测结果。对比实验结果表明:BMNet在武汉大学建筑数据集上精度和交并比分别优于U-net 4.6%和4.8%,在马萨诸塞州建筑数据集和Inria航空图像标注数据集上精度和交并比分别优于U-net 7.9%,8.9%和6.7%,11.0%,验证了所提模型的有效性以及实用性。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

适用于约束环境的轻量级目标检测模型

为了进一步降低目标检测模型YOLOX-Tiny的大小并提高检测精度,以便于更好地适用于计算资源和存储空间有限的环境,在特征金字塔的结构、解耦头的结构和损失函数上对其进行改进,形成一种更高性能的轻量级目标检测模型Lite-YOLOX。为进一步压缩原有模型体积,重新设计特征金字塔和解耦头的结构,使模型的Neck和Head部分更轻量化;为提升模型的检测精度,在原有IoU损失函数的基础上进行优化,设计并提出EIoU损失函数,改进后的损失函数对真实框和预测框的位置更加敏感;选取PASCAL VOC和安全帽检测数据集对改进模型进行验证。实验结果表明:Lite-YOLOX与YOLOX-Tiny相比,参数量减少40%,计算量下降37.5%,mAP50提升3.2和3.1个百分点。在NVIDIA Jetson Xavier NX上,每秒传输帧数(FPS)从51增加到59,实时性有了明显的提升。

基于迁移联邦学习的输电线路缺陷检测

有效检测输电线路的破损和异物对电路智能巡检至关重要.然而,由于存在着数据孤岛问题,难以收集不同电力公司的数据来训练统一的检测模型.因此,结合迁移联邦学习和目标检测算法提出了一种基于迁移联邦学习的电路缺陷检测方法.具体地,首先选用一个强大的检测模型作为基础检测模型,并冻结模型初始权重.然后通过权重矩阵的低秩分解以及插入适配器层的方式进行对不同客户端的数据进行适应学习,从而大幅降低可训练模型参数的目的.其次,提出一种权重自适应筛选方法,以精确确定模型权重层的低秩分解和适配器层的插入位置,通过简单的适应学习,即可对不同电力公司中的数据分布进行有效适应.最后,在接近真实环境的电力数据集上进行的实验验证表明,在保证客户数据安全性和隐私性的前提下,能够很好地适应不同分布的检测场景.

融合CNN与Transformer的MRI脑肿瘤图像分割

为解决卷积神经网络(convolutional neural network,CNN)在学习全局上下文信息和边缘细节方面受到很大限制的问题,提出一种同时学习局语义信息和局部空间细节的级联神经网络用于脑肿瘤医学图像分割。首先将输入体素分别送入CNN和Transformer分支,在编码阶段结束后,采用一种双分支融合模块将2个分支学习到的特征有效地结合起来以实现全局信息与局部信息的融合。双分支融合模块利用哈达玛积对双分支特征之间的细粒度交互进行建模,同时使用多重注意力机制充分提取特征图通道和空间信息并抑制无效的噪声信息。在BraTS竞赛官网评估了本文方法,在BraTS2019验证集上增强型肿瘤区、全肿瘤区和肿瘤核心区的Dice分数分别为77.92%,89.20%和81.20%。相较于其他先进的三维医学图像分割方法,本文方法表现出了更好的分割性能,为临床医生做出准确的脑肿瘤细胞评估和治疗方案提供了可靠依据。

基于生成对抗网络的图像自增强去雾算法

针对现有去雾模型使用合成有雾图像数据集训练后容易出现过拟合的问题,提出了一种融合生成对抗网络的图像自增强去雾算法。在结合两个生成对抗网络的同时估计图像的深度信息。第一个GAN利用清晰图像学习图像加雾过程,将其生成的有雾图像作为第二个GAN的输入,指导第二个GAN如何正确去雾。为了减少图像处理前后的差异,利用一致性损失函数来优化两个网络。在图像加雾部分添加场景深度估计模块,并对散射因子进行随机采样,实现图像自增强功能,更加真实地模拟现实世界中不同浓度的雾气。该算法无需使用合成有雾图像数据集的成对信息,进一步避免过拟合问题。实验结果表明:所提算法能够取得较好的去雾效果,在主观视觉质量和客观评价指标上均有良好表现,优于同类算法。

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

自适应前景聚焦无人机航拍图像目标检测

针对无人机航拍图像前景目标尺度差异大、样本空间分布不均衡、背景冗余占比高所导致的漏检和误检问题,本文提出一种自适应前景聚焦无人机航拍图像目标检测算法。首先,构建全景特征细化分类层,通过重参数空间像素方差法及混洗操作,增强算法聚焦能力,提高前景样本特征的表示质量。其次,采用分离-学习-融合策略设计自适应双维特征采样单元,加强对前景焦点特征提取能力和背景细节信息保留能力,改善误检情况,加快推理速度。然后,结合多分支结构和广播自注意力机制构造多路径信息整合模块,解决下采样引起的歧义映射问题,优化特征的交互与整合,提高算法对多尺度目标的识别、定位能力,降低模型计算量。最终,引入自适应前景聚焦检测头,运用动态聚焦机制,增强前景目标检测精度,抑制背景干扰。在公开数据集Vis Drone2019和Vis Drone2021上进行相关实验,实验结果表明,该方法m AP@0.5数值达到了45.1%和43.1%,较基线模型分别提升6.6%和5.7%,且优于其他对比算法,表明该算法显著提升了检测精度,具备良好的普适性与实时性。

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于多重机制优化YOLOv8的复杂环境下安全帽检测方法

为了解决建筑工地、隧道、煤矿等施工场景中现有安全帽检测算法对于小目标、密集目标以及复杂环境下的检测精度低的问题,提出了一种基于多重机制的安全帽检测方法。以YOLOv8n为基础将Backbone部分的C2f模块加入可扩张残差(DWR)注意力模块,使得网络能够更灵活地适应不同尺度的特征,以而更准确地识别图像中的物体;采用可变形卷积AKConv模块取代主干部分中的原始Conv,为卷积神经网络带来了显著的性能提升,从而实现更高效的特征提取。此外引用了大型可分离核注意力LSKA模块与SPPF结构相结合,大大增强了模型核心的融合能力。在Safety helmet数据集的实验结果表明,改进后的算法相较于原模型,mAP@0.5指标上提升了10.5个百分点,在mAP@0.5-0.95指标上提升了3.7个百分点,能有效提高复杂场景下的安全帽佩戴检测精度。

基于多尺度特征与互监督的拥挤行人检测

针对拥挤场景中,行人漏检率高、准确率低的问题,提出一种基于多尺度特征与互监督的拥挤行人检测网络。为了有效提取复杂场景中的行人特征信息,用PANet金字塔网络与混合空洞卷积相结合的网络提取特征信息。然后,设计了一种行人头部-全身互监督检测网络分别进行头部和全身检测,利用头部预测框和全身预测框的互监督获得更加准确的行人检测结果。所提出的网络在数据集CrowdHuman上取得了13.5%的MR^(-2)性能,相较于YOLOv5网络提升了3.6%,同时AP提升了3.5%;在CityPersons数据集上取得了48.2%的MR^(-2)性能,相较于YOLOv5网络提升了2.3%,同时AP提升了2.8%。实验结果表明,提出的网络在人群拥挤的密集场景中具有良好的检测效果。

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题,提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法.首先提出了一个全局层注意力机制(global layer attention,GLA),利用层注意力机制加权融合不同层级的全局特征,建模低分辨率与高分辨率图像特征间的长期依赖关系.同时,设计了跨尺度局部注意力机制(cross-scale local attention,CSLA),在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁,并融合不同尺度的补丁特征,以优化模型对图像细节信息的恢复能力.最后,提出一种局部信息感知损失函数来指导图像的重建过程,进一步提高了重建图像的视觉质量和细节保留能力.在UC-Merced数据集上的实验结果表明,本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法,并在视觉效果方面展现出更高的质量和更好的细节保留能力.

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体,其方法可为物种保护、医学病患检测和军事监测等领域提供助力,具有较高的实用价值.近年来,采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向.但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络,并且在结合多层次特征时,忽略了特征表示和融合方法对检测性能的影响.针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题,提出一种基于Transformer的跨尺度交互学习伪装目标检测方法.该模型首先提出了双分支特征融合模块,将经过迭代注意力的特征进行融合,更好地融合高低层特征;其次引入了多尺度全局上下文信息模块,充分联系上下文信息增强特征;最后提出了多通道池化模块,能够聚焦被检测物体的局部信息,提高伪装目标检测准确率.在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明,与当前主流的伪装物体检测算法相比较,该方法生成的预测图更加清晰,伪装目标检测模型能取得更高精度.

有限训练样本下的多尺度空洞密集网络高光谱影像分类

为了在有限训练样本情况下充分提取高光谱影像的空间光谱特征,提高分类精度,提出一种结合空洞卷积和密集网络的高光谱影像分类方法。首先,构建多尺度空洞特征提取模块,引入不同数量的空洞卷积层和普通卷积层通过级联的方式增大模型的感受野,并提取多尺度特征。然后,在多尺度空洞特征提取模块之间建立密集连接,实现特征复用的同时缓解梯度消失问题,而模块内部无密集连接,避免构建深度网络而导致网络参数过多的问题。最后,将得到的特征依次通过池化层,全连接层和Softmax层完成分类。另外,本文在全连接层后加入dropout正则化防止出现过拟合。在Indian Pines和WHU-Hi-Longkou数据集上与经典分类方法进行对比,本文方法 OA分别为98.75%和98.82%。实验结果表明,本文设计的网络模型在有限训练样本情况下,分类效果最优。