无人机多光谱影像的小麦倒伏信息多特征融合检测研究

为探究多特征融合方法在作物倒伏领域快速精准识别中的适用性,利用无人机获取多田块冠层尺度的不同倒伏率麦田多光谱数据,对原始倒伏图像进行图像拼接、辐射校正、几何校正等预处理,并利用重归一化差值植被指数和阴影指数分别剔除土壤和阴影背景,提取小麦倒伏DSM模型和植被指数分别与多光谱图像进行多特征图像主成分变换融合,筛选差异性较大的纹理特征,采用支持向量机(SVM)、人工神经网络(ANN)和最大似然法(MLC)监督分类模型对多光谱和DSM融合图像、多光谱和归一化植被指数(NDVI)融合图像、多光谱图像和纹理特征图像进行监督分类,并采用总体精度(OA)、 Kappa系数和提取误差综合评价各监督模型的分类性能和倒伏提取精度。分类结果表明:各监督分类方法在不同倒伏区域提取结果建模效果趋势一致,SVM和ANN整体提取精度高于MLC,在高倒伏区域,多光谱与NDVI融合图像的SVM监督模型(OA:92.63%, Kappa系数:0.85,提取误差:1.11%)提取效果最好;在中倒伏区域,多光谱与DSM融合图像的SVM监督模型(OA:90.35%, Kappa系数:0.79,提取误差:9.34%)提取效果最好;在低倒伏区域,均值纹理特征图像的ANN监督模型(OA:91.05%, Kappa系数:0.82,提取误差:8.20%)提取结果较好。本研究将DSM模型、植被指数、纹理特征与多光谱图像进行融合对比,并对多特征融合方法能否高精度有效提取小麦倒伏信息进行了探究,结果表明无人机多光谱遥感结合特征融合技术能有效提取小麦倒伏面积,提取效果优于单特征小麦倒伏图像。本研究结果可为助力小麦倒伏灾情调查数据的精确获取方法提供参考。

开放型区域产教融合实践中心的基本特征、功能定位与推进路径

开放型区域产教融合实践中心(简称“产教融合实践中心”)是对标产业发展前沿,由政府搭台、市场驱动,汇集产教资源,政、校、行、企等多元主体参与,旨在推动区域职业教育实训实践资源均衡发展,提升职业学校关键办学能力,为企业培养急需人才和提供技术服务的生产性实践组织形态。产教融合实践中心分为学校实践中心、公共实践中心、企业实践中心,具有参与主体的多元性、服务面向的区域性以及运营模式的多样性等基本特征;具备实践教学、社会培训、真实生产和技术服务等功能。要扎实推进产教融合实践中心建设,必须坚持政府引导,统筹谋划产教融合实践中心建设;坚持市场驱动,以股份制混合所有制推进产教融合实践中心建设;坚持同步发力,分类推进产教融合实践中心建设。

二阶逐层特征融合网络的图像超分辨重建

针对一些超分辨网络忽略了对网络各层次特征的复用以及融合的问题,构建了具有较强特征复用和融合能力的二阶逐层特征融合超分辨网络,以获得具有高分辨率、高保真度的重建图像。网络的核心是逐层特征融合模块,该模块通过特征融合操作增强特征的重用。此外,还提出了二阶特征融合机制,该机制在网络的局部和全局层次上采用逐层特征融合方法进行特征融合。实验结果表明该网络的重建图像在线条和轮廓上更清晰,并且在峰值信噪比和结构相似度上也取得了更好的结果。例如当缩放尺度因子为2时,各测试集上的峰值信噪比/结构相似度依次为38.20 dB/0.9612、33.81 dB/0.9195、32.28 dB/0.9010、32.65 dB/0.9324、39.11 dB/0.9779,相比其他模型有一定提升,从客观标准和主观角度证明了二阶逐层特征融合超分辨网络具有一定的优越性。

结合特征融合与增强注意力的少样本目标检测

为了更充分地利用支持特征和查询特征中的关键信息,提出一种基于特征融合和增强注意力的少样本目标检测方法FFA-FSOD(Feature Fusion and enhanced Attention Few-Shot Object Detection)。首先引入迭代注意力特征融合(iAFF)模块,以有效融合支持图像和查询图像的关键特征;其次在iAFF模块后添加特征增强操作,充分利用支持特征信息对查询图像中的目标特征进行增强。为避免上述两次处理可能导致的查询图像特征部分细节信息的丢失,对iAFF模块中的多尺度通道注意力模块(MS-CAM)进行改进,以捕获更多的上下文信息。在MS COCO数据集上的实验结果表明,在2-way 10-shot条件下,与小样本目标检测(FSOD)方法相比,加入iAFF模块、特征增强操作并改进MS-CAM后,FFA-FSOD的平均精度均值(mAP)提升了8.0%。实验结果验证了所提特征融合增强方法充分关注到了特征中的细节信息,从而实现了更好的少样本目标检测效果。

基于多特征融合的露天矿区道路负障碍检测

随着智慧矿山概念的逐步落实,智能化、无人化逐渐在矿区落实,露天矿卡车无人驾驶日益成为矿山智能化建设的主要内容,为解决露天矿区复杂多变的道路因坑洼、塌陷等路面小部分下陷出现的非规则负障碍而导致矿区无人车、重载卡车侧翻等安全难题,提升矿区安全驾驶系数,提出一种多特征融合的露天矿区道路负障碍检测方法。该方法使用BiFPN特征融合模块,提高小型负障碍检测权重占比;引入空间和通道双注意力机制提高对负障碍边缘的特征提取和特征融合能力,从而提高对道路小尺度负障碍的检测精度;采用SIoU Loss作为模型边界框损失函数并使用K-means++方法优化Anchor以提高负障碍检测模型的收敛速度和边界框定位效果,并基于遗传算法优化超参数让模型更贴合矿区场景,最终实现对矿区道路负障碍的快速精准识别。实验表明该检测模型能快速准确识别复杂背景下露天矿区道路负障碍目标,对道路负障碍目标的检测精度、召回率、平均精确度均值分别达到了96.9%、89.9%、95.3%,且该模型大小仅有12.7 MB。对比其他主流检测网络,该网络模型更适合复杂环境下露天矿区非结构化道路行驶安全需求,且该检测模型的鲁棒性好,可适配于多种情况的露天矿区,为实际环境复杂多变的露天矿区非结构化道路负向障碍检测提供了可行的方法,为露天矿无人卡车安全生产运输提供安全预警。

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于混合特征提取与跨模态特征预测融合的情感识别模型

为从多模态情感分析中有效挖掘单模态表征信息,并实现多模态信息充分融合,提出一种基于混合特征与跨模态预测融合的情感识别模型(H-MGFCT)。首先,利用Mel频率倒谱系数(MFCC)和Gammatone频率倒谱系数(GFCC)及其一阶动态特征融合得到混合特征参数提取算法(H-MGFCC),解决了语音情感特征丢失的问题;其次,利用基于注意力权重的跨模态预测模型,筛选出与语音特征相关性更高的文本特征;随后,加入对比学习的跨模态注意力机制模型对相关性高的文本特征和语音模态情感特征进行跨模态信息融合;最后,将含有文本−语音的跨模态信息特征与筛选出的相关性低的文本特征相融合,以起到信息补充的作用。实验结果表明,该模型在公开IEMOCAP(Interactive EMotional dyadic MOtion CAPture)、CMU-MOSI(CMU-Multimodal Opinion Emotion Intensity)、CMU-MOSEI(CMU-Multimodal Opinion Sentiment Emotion Intensity)数据集上与加权决策层融合的语音文本情感识别(DLFT)模型相比,准确率分别提高了2.83、2.64和3.05个百分点,验证了该模型情感识别的有效性。

基于电流多特征融合的窄间隙P-GMAW摆动电弧传感焊缝跟踪方法

电弧传感是实现窄间隙焊接焊缝跟踪的主要方式之一。针对电弧传感稳定性差、可靠性低的问题,提出融合摆动周期内电流信息的多个统计学特征进行偏差提取的方法,克服单一数据特征容易受到电弧稳定性影响、导致传感精度下降的问题。首先,提取电流信号的多个时域特征,计算特征矩阵与偏差矢量相关性;然后,取相关性高的特征用主成分分析的方法进行融合,取前两个主成分作为观测数据;最后,基于多分类的支持向量机模型对其进行分类试验。试验结果表明最大误差为0.2 mm,0.1 mm以内的误差占93.75%。该方法对比传统方法精度有所提升,对比神经网络方法,所用训练样本少,训练过程更加简单。

基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明:与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。

基于注意力机制及多分支特征融合的实时语义分割算法

为了合理平衡语义分割中的精确度与实时性,基于快速卷积神经网络模型(Fast-SCNN)提出了一种基于注意力机制及多分支特征融合的实时语义分割算法模型。该算法模型首先通过注意力模块捕获空间特征之间的相互联系,增强空间细节信息;然后合理设计融合模块,最大化利用各分支信息,实现深层特征与浅层特征更好的融合;最后引入自适应特征增强注意力模块,捕获长距离像素间的相互依赖关系。实验结果表明,文中算法模型在Cityscapes数据集上获得了71.55%的分割精度,推理速度FPS达到97.6帧/s,模型参数量为1.39 M,验证了该算法所构成网络模型的有效性。

基于ELM的超声多特征融合螺栓应力测量方法

针对传统超声波螺栓应力测量中存在的非线性和不适定性问题,提出一种基于极限学习机(ELM)的超声多特征融合螺栓应力测量方法。首先基于声弹性理论和散射理论,根据超声回波信号提取声时差及瑞利散射范围内多晶体材料中纵波的衰减系数等超声波特征参数。然后通过向量降维选择声时差、衰减系数和有效受力长度作为模型输入特征向量,建立了基于ELM的超声多特征融合螺栓应力测量模型。搭建螺栓轴向应力超声波测量实验平台,对不同材料和规格的螺栓进行螺栓应力的测量,并对比了使用传统的超声测量方法的测量结果,验证了传统超声检测方法的局限性。对比了ELM与其他机器学习方法包括BP、支持向量回归(SVR)的测量结果和精度。结果表明,提出的方法有效克服了传统超声测量方法的不足,能实现不同材料不同规格的螺栓应力测量,并且测量精度更高(平均相对误差为3.86%),泛化能力更好。

多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测

初烤烟叶等级的快速准确检测对开发烟叶智能分级设备以促进农产品精细化管理有着重要意义。针对相似度较高但等级不同的初烤烟叶难以区分的问题,本文提出多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测网络(Flue-cured Tobacco Leaf Grade Detection Network,FTGDNet)。首先,FTGDNet采用CSPNet作为特征提取主干网络,采用GhostNet作为辅助特征提取网络以增强模型的特征提取能力;其次,在主干网络末端嵌入显式视觉中心瓶颈模块(Explicit Visual Center Bottleneck module,EVCB)以实现全局特征信息与局部细节特征信息融合;然后,构建多感受野特征自适应融合模块(Multi-Receptive Field Feature Adaptive Fusion module,MRFA_d),利用注意力特征融合机制(Attention Feature Fusion,AFF)将不同感受野特征图进行自适应加权融合,在增强模型局部感受野的同时突出有效通道信息;最后,设计了一种新的定位损失函数(More Complete IoU Loss,MCIoU_Loss),结合预测框与真实框面积损失以解决在回归定位过程中二者宽高比相等且中心点重合时CIoU_Loss性能退化导致定位精度下降问题,此外,引入矩形相似度衰减系数在训练过程中对真实框与预测框的相似度判别项进行动态调整,加快模型拟合。实验结果表明,FTGDNet对十个等级的初烤烟叶的验证精度达到90.0%,测试精度达到87.4%,且推理时间仅为12.6 ms。相较于多种先进目标检测算法,FTGDNet具有更高的检测精度和更快的检测速度,可为高精度初烤烟叶等级检测提供关键技术支撑。

基于特征匹配度与异类子模型融合的安全性评估方法

机器学习模型的好坏影响预测精度、输入与输出结果的拟合情况。在复杂系统中,使用单一模型评估系统安全性问题时容易受数据量、数据格式、模型结构以及环境干扰等因素影响,使得这个模型在解决某个问题的能力上比较出色,而在解决其他问题时,结果却不尽如人意。针对上述问题,提出一种基于特征匹配度和异类子模型融合的安全性评估方法。首先,按照采样数据的输出值划分不同规模的数据集并构建子模型;其次,通过计算每个新数据对于这些子模型的匹配度,进而得到每个子模型的权重;最后,根据权重大小融合所有子模型的子输出得到最终的多模型融合结果。所提方法对山东省济宁市霄云煤矿采掘数据集进行研究,实验结果表明,该方法与多样本单模型、少样本单模型和传统多模型方法相比,在以330/70的比例来构建子模型的情况下均方根误差(RMSE)分别降低了15.13%、51.67%和12.46%,该方法充分集成各子模型所能提供的有效信息,减少和分散单一模型的预测误差,以提高模型的预测精度和泛化能力。

基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

基于双向加权特征融合网络的铸件内部缺陷检测方法

针对X射线无损探伤过程中铸件内部缺陷小、对比度弱、人工识别效率低等问题,提出了一种基于双向加权特征融合网络的铸件内部缺陷检测方法。在YOLOv5网络模型基础上引入改进的坐标注意力模块(NCA),以提高网络对不规则缺陷和小缺陷的学习能力;引入双向特征金字塔网络(BiFPN)代替原有路径聚合网络(PANet),以实现缺陷特征多尺度高效融合,并使用EIoU Loss回归损失函数提高缺陷边界框定位的精度。试验结果表明,本文所提方法对铸件内部小目标、弱对比度缺陷具有良好的检测性能。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

基于多特征融合时差网络的带式输送机区域违规行为识别

现有的煤矿井下带式输送机区域违规行为(如攀爬、跨越、倚靠带式输送机等)识别方法对特征提取不充分、难以考虑到行为时间差异,导致违规行为识别准确率不高。针对该问题,基于ResNet50模型,提出了一种基于多特征融合时差网络(MFFTDN)的带式输送机区域违规行为识别方法,将多特征融合和时间差分进行结合,对不同时间段的行为进行多特征融合。首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块,将来自多个连续帧的时间和特征拼接在一起,再对融合后的特征进行时间差分计算,即相邻帧的特征差值,以在短期内捕捉局部动作变化。然后在原始模型ResNet50的第4阶段引入长期多特征融合(LTMFF)模块,将来自连续帧的短期多特征拼接在一起,再对相邻时间点的特征进行时间差分计算,以获取行为的长期多特征。最后将融合后的特征进行分类,输出识别结果。实验结果表明:①该方法的平均精度和准确率较原始模型ResNet50分别提高了8.18%和8.47%,说明同时引入STMFF和LTMFF模块能够有效提取到不同时间段的多特征信息。②该方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62%,平均精度为89.30%,模型的参数量为197.2×10^(6)。③Grad−CAM热力图显示,该方法能够更有效地关注到违规行为的关键区域,精确捕捉到井下带式输送机区域的违规行为。