基于混合层次特征融合卷积神经网络的语音情感识别模型

随着人们对人机交互技术的自然度和人性化要求的不断提高,语音情感识别技术备受关注,因为它易于使用且传递情感信息更为丰富。而卷积神经网络(CNN)因能有效地捕获频谱图中的关键局部特征和结构而成为语音情感识别的主流模型之一。本文基于CNN提出了一种混合层次特征融合卷积神经网络(Mixed-Level Feature Fusion CNN, MLFF-CNN),MLFF-CNN通过融合卷积神经网络的浅层和深层特征,不仅能够利用CNN浅层捕获的语音信号中的局部信息,还能够有效地利用深层捕获更高级、结构化的情感信息。此外,为减少融合时的信息冗余,本文提出了一个混合层次特征融合的注意力机制,应用于MLFF-CNN中的浅层和深层特征融合,有助于选择与情感相关性最高的信息进行融合。在广泛使用的情感数据集IEMOCA和CASIA上的实验结果显示,MLFF-CNN模型在语音情感识别任务上优于现有的先进方法,证明了本文所提方法的有效性和可行性。

多层次特征融合网络的语义分割算法

目标多尺度性质、高层语义信息不足等造成现有算法很难在目标边界取得非常准确的分类精度。为此,提出了一种基于多层次特征融合的语义分割算法。在解码阶段,设计了三个特征提取分支,分别为空间细节分支、语义补充分支和上下文信息分支。空间细节分支采用浅层较高分辨率特征图来生成最终分割图,主要用于保留大量空间细节信息。语义补充分支用于增加更多的高层语义抽象信息。上下文信息分支主要负责提取多尺度全局信息。在语义补充分支中,设计了一种特征融合指导模块(FFGM),建模不同特征图之间像素的对应关系,从而有效地融合不同层次的特征。在空间细节分支中,提出一种自增强特征模块(SEM),对低层次特征进行精调细化,旨在得到清晰的目标边界。在上下文信息分支中,采用金字塔池化模块(PPM)获得多尺度上下文信息,解决目标多尺度性带来的像素错分问题。最后,采用注意力机制融合三个分支提取的特征图,从而强化重要特征,抑制非显著特征。在主流的语义分割数据集PASCAL VOC2012与Cityscapes上,该网络模型获得了81.12%的平均交并比和74.56%的平均交并比,明显优于实验比较算法。

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。

多层次特征融合的对抗网络图像隐写

针对基于神经网络的图像隐写方法无法同时捕捉载体图像的纹理信息和语义特征,导致存在大量的信息丢失的问题,提出一种基于多层次特征融合的对抗网络图像隐写方法。通过在生成网络中添加多尺度卷积与池化操作对图像进行特征提取,使用跳跃连接融合多层次特征信息,利用隐写分析性能更先进的判别网络与生成网络进行对抗学习,生成嵌入修改图并模拟生成隐写图像。实验结果表明,在高维特征隐写分析与深度学习隐写分析检测下,该方法均具有更高的隐写安全性。与目前所提出的基于深度学习的隐写方法相比,综合安全性能提升3.8%。

基于注意力机制和多层次特征融合的目标检测算法

为了提高目标检测的准确率,提出一种基于注意力机制和多层次特征融合的图像目标检测算法。该算法在Cascade R-CNN模型的基础上,以RseNet50为主干网络,通过嵌入简单的注意力模块(SAM)来提高网络的判别能力;其次,利用深度可分离卷积改进特征金字塔网络(FPN),设计了多层次特征融合模块(MFFM),对多尺度特征进行融合,以丰富特征图的信息量,并对不同层次的特征图赋予相应的权重以平衡不同尺度的特征信息;最后,结合目标检测方法中的区域建议网络(RPN)结构获取目标的候选区域进行分类和回归处理,确定检测目标的位置和类别。实验结果表明,相较于Cascade R-CNN目标检测算法,该算法的检测精度提升了约2.0%。

融合多层次特征的DeepLabv3+轻量级图像分割算法

基于深度学习的图像语义分割模型通常参数量大,复杂度高,难以部署到移动平台。针对以上问题,对DeepLabv3+算法进行改进,提出一种改进的轻量级图像分割算法。模型的骨干网络使用轻量级MoblieNetv2网络,并获取四个不同层次的输入特征,得到四种不同的语义信息;提出CAFF(coordinate attention feature fusion)模块,融合中间两个层次特征并加入位置信息;改进空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块,提出CS_ASPP(channel strip_atrous spatial pyramid pooling)模块,在不同膨胀率的空洞卷积后引入CAM(channel attention module)机制,同时并联带状池化(strip pooling,SP)获取上下文信息,并在特征融合后引入SAM(spatial attention module)机制提升分割精度。在PASCAL VOC 2012数据集上进行实验,平均交并比(mIoU)达到了79.14%。实验结果表明,该模型更加精准,且在参数量、分割速度以及分割效果之间达到了较好的平衡。

多层特征融合与语义增强的盲图像质量评价

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

基于注意力机制与特征融合的网络钓鱼检测算法

网络钓鱼是攻击者实施网络诈骗犯罪的主要手段。随着国家反网络诈骗力度的不断加大,各类网络钓鱼活动的技术对抗性也日益增加,给网络钓鱼检测工作带来了较大压力。比如,网络钓鱼攻击通常会利用图像来代替文本,并对高权重的网站标志图像加以小尺度偏移或旋转等手段,来逃避传统的基于文本或图像特征的检测算法。针对网络钓鱼技术对抗性日益增加的问题,提出一种基于注意力机制与特征融合的网络钓鱼检测算法,建立包含两个阶段的融合域名、网页结构、网页文本和网页图标等特征的层级分类模型,可有效针对攻击者的各种技术对抗性策略。该算法在第一阶段利用机器学习模型的轻量特性,融合域名、文本、网页结构特征从海量域名中预召回可疑域名子集,在第二阶段基于候选子集,引入注意力机制加深样本与被仿冒对象之间的全局文本关联特征的提取,并增加样本与被仿冒对象图标间的对比特征,建立融合文本和图像特征的深度分类模型。并在实验环节对该算法的有效性进行了验证。这种分层检测方式有效避免了对海量待检测域名的图像数据抽取,在保证检测精度的前提下大大提升了检测效率。

三维多层次特征协同的无人机遥感目标检测算法

针对无人机航拍图像小目标占比大和背景复杂的特点,当前目标检测模型存在精度低和小目标漏检等问题。基于YOLOv8s模型,提出了三维多层次特征协同的无人机遥感目标检测算法。首先,在坐标注意力的基础上提出了三维多分支坐标注意力(MBCA),通过增加通道维度的信息交互和扩展分支的拆分融合,减少空间维度的计算量,提高了模型全局特征提取能力。其次,采用SPD-Conv替换部分标准卷积,在下采样时有效保留更多特征信息并加快推理速度。然后,在C2f模块中采用了更高效的FastDBB_Bottleneck模块,结合PConv与DBB结构重参数化叠加,以进一步降低模型计算量。最终,通过引入PG-Detect检测头,显著减少计算量并有效降低小目标的漏检率。在VisDrone2019数据集上的实验结果显示,该方法的mAP50值达到了44.5%,较YOLOv8s基线模型提升了5.7个百分点。同时,在自建水坝裂缝数据集上,进行裂缝检测验证实验,改进方法的mAP50值相比YOLOv8s提升了3.3个百分点,FPS达到289帧。实验结果表明在复杂场景目标检测中,所提方法提升了检测模型的精度和实时性,具有良好的适应性和鲁棒性。

多层次特征融合的人群密度估计

目的人群数量和密度估计在视频监控、智能交通和公共安全等领域有着极其重要的应用价值。现有技术对人群数量大,复杂环境下人群密度的估计仍存在较大的改进空间。因此,针对密度大、分布不均匀、遮挡严重的人群密度视觉检测,提出一种基于多层次特征融合网络的人群密度估计方法,用来解决人群密度估计难的问题。方法首先,利用多层次特征融合网络进行人群特征的提取、融合、生成人群密度图;然后,对人群密度图进行积分计算求出对应人群的数量;最后,通过还原密度图上人群空间位置信息并结合估算出的人群数量,对人群拥挤程度做出量化判断。结果在Mall数据集上本文方法平均绝对误差(MAE)降至2.35,在Shanghai Tech数据集上MAE分别降至20.73和104.86,与现有的方法进行对比估计精度得到较大提升,尤其是在环境复杂、人数较多的场景下提升效果明显。结论本文提出的多层次特征融合的人群密度估计方法能有效地对不同尺度的特征进行提取,具有受场景约束小,人群数量估计精度高,人群拥挤程度评估简单可靠等优点,实验的对比结果验证了本文方法的有效性。

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪(SiamFC)算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。

采用多层次特征融合SPP-net的暂态稳定多任务预测

为提升基于卷积神经网络(CNN)的电力系统暂态稳定预测性能并呈现更全面的预测结果,提出一种基于多层次特征融合空间金字塔池化网络(MSPP-net)的暂态稳定多任务预测方法.首先,通过同步相量测量装置(PMUs)获取故障清除后各发电机功角、机端母线电压幅值及相角数据,构造出一个三维输入矩阵;其次,在CNN的基础上采用空间金字塔池化层提取高层特征的多尺度信息,通过跳跃链接获取不同卷积层多层次特征信息,并进行特征融合;最后,通过硬参数共享机制建立MSPP-net多任务学习模型,以实现暂态稳定性判断、临界发电机识别和稳定裕度预测.在IEEE 10机39母线系统、IEEE 50机145母线系统和中国某省简化系统上进行仿真验证.与传统浅层及深度学习方法相比,结果验证了所提方法的有效性和更优的预测性能,以及该方法在噪声环境或PMUs非100%覆盖条件下的适用性.

基于多层次特征融合的口腔粘膜性疾病识别方法

口腔粘膜性疾病的识别主要依靠医生肉眼观察并进行主观判断,该方法导致疾病识别的准确率低、医生的工作量大。针对以上问题提出一种基于多层次特征融合的口腔粘膜性疾病识别方法。对口腔疾病图像提取深层次特征和浅层次特征共两种,使用EfficientNet模型做深层特征的提取,使用HSV、方向梯度直方图(histogram of oriented gradient,HOG)和灰度共生矩阵(gray-level co-occurrence matrix,GLCM)分别提取口腔疾病的颜色、形状以及纹理的浅层特征,将特征融合后利用随机森林(random forest,RF)算法进行特征选择,选取特征重要性更大的特征,降低特征的维度。最后结合多种机器学习分类器进行分类识别。使用收集到的口腔粘膜疾病数据集进行实验验证,实验结果表明,该方法能达到准确率(accuracy,Acc)92.89%、灵敏度(sensitivity,Sen)89.91%、特异性(specificity,Spe)96.06%以及AUC(area under the curve)98.09%,有效地解决识别中误判多、准确率低等问题。

一种基于对偶学习的场景分割模型

城市场景分割等复杂任务存在特征图空间信息利用率低下、分割边界不够精准以及网络参数量过大的问题。为解决这些问题,提出了一种基于对偶学习的场景分割模型DualSeg。首先,采用深度可分离卷积使模型参数量显著减少;其次,融合空洞金字塔池化与双重注意力机制模块获取准确的上下文信息;最后,利用对偶学习构建闭环反馈网络,通过对偶关系约束映射空间,同时训练“图像场景分割”和“对偶图像重建”两个任务,辅助场景分割模型的训练,帮助模型更好地感知类别边界、提高识别能力。实验结果表明,在自然场景分割数据集PASCAL VOC中,基于Xception骨架网络的DualSeg模型的mIoU和全局准确率分别达到81.3%和95.1%,在CityScapes数据集上mIoU达到77.4%,并且模型参数量减少18.45%,验证了模型的有效性。后续将探索更有效的注意力机制,进一步提高分割精度。

融合生成式神经网络和深度神经网络的流量异常检测

针对网络攻击隐蔽性和动态多变的特征,提出一种融合生成式神经网络和深度神经网络的流量异常检测方法,该方法针对网络流量数据不平衡问题,采用生成式神经网络实现样本库的扩充,在此基础上,采用Dense Net实现网络流量多层次特征的提取,该方法通过加强不同层次特征的传递,实现不同层次特征的融合,为网络流量异常识别提供基础。实验表明,本文提出的方法在准确率、召回率、漏检率以及平均处理时间均优于单纯使用CNN或LSTM的方法,因此,本文方法能够有效检测网络异常流量,具有一定的可用性。

基于优化HRNetV2的高分辨率遥感影像土地利用自动分类

研究目的:基于语义分割模型HRNetV2实现高分辨率遥感影像的土地利用自动分类,以期推动深度学习语义分割方法实现遥感影像的土地利用自动分类研究,并为该类研究提供可参考的案例。研究方法:首先对语义分割模型HRNetV2从损失函数、特征提取方面进行优化,以提高模型的分割精度;其次用优化后的HRNetV2模型对民乐县2 m的高分辨率遥感影像进行土地利用分类,并基于混淆矩阵对分类的结果进行评估。研究结果:(1)优化后的HRNetV2语义分割模型的MIOU达81.9%,相较于优化前提高了4.4%,证明了优化方法的有效性;(2)针对民乐县进行的土地利用自动分类总体精度达89.72%,Kappa系数达0.888。研究结论:优化后的HRNetV2语义分割模型在高分辨率遥感影像的土地利用自动分类中具有较强的应用前景。