编码-解码多尺度卷积神经网络人群计数方法

针对基于多列卷积神经网络的人群计数方法存在的多尺度特征信息丢失、融合不佳以及密度图质量不高等问题,提出了一种编码-解码结构的多尺度卷积神经网络人群计数方法。编码器采用多列卷积捕获多尺度特征,通过空洞空间金字塔池化扩大感受野并减少参数量,保留尺度特征和图像的上下文信息;解码器对编码器输出进行上采样,实现高层语义信息和编码器前端低层特征信息有效融合,从而提升了密度图的输出质量。为增强网络对计数的敏感性,在以往像素空间损失的基础上考虑了计数误差,提出了一种新型损失函数。采用Shanghai Tech、Mall以及自建数据集进行了对比实验,结果表明:与之前最优方法相比,所提方法在Shanghai Tech数据集Part_A部分的平均绝对误差和均方误差分别降低了8.3%和21.3%,Part_B部分分别降低了12.9%和12.0%,Mall数据集分别降低了15.1%和23.8%,自建数据集分别降低了13.5%和7.1%;在不同人群场景下,所提方法的人群计数准确性和鲁棒性均优于其他对比方法的。

DNeStCount:数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法

人群数量估计是人群管理系统的关键,对于预防踩踏事故和引导人群至关重要,已成为一个日益重要的任务和具有挑战性的研究方向。本文提出一种数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法,称为DNe StCount。为应对视频监控的尺度变化和透视失真的挑战,将更密集的空洞采样比率应用到密集空洞空间金字塔池化模块DASPP设计中。为提升密度图估计的准确性,将可学习的、数据相关的上采样方法 DUpsampling应用到特征聚合模块DFA设计中。为弥补欧几里德损失可能存在对离群值敏感、训练不稳定等缺点,采用Smooth L1损失设计损失函数。在具有挑战性的数据集上进行的实验和分析表明,本文提出的人群计数方法 DNe St Count与其他主流方法相比更具有竞争力。

基于双注意力编码-解码器架构的视网膜血管分割

眼底视网膜血管的分割提取对于糖尿病、视网膜病、青光眼等眼科疾病的诊断具有重要的意义。针对视网膜血管图像中的血管难以提取、数据量较少等问题,文中提出了一种结合注意力模块和编码-解码器结构的视网膜血管分割方法。首先对编码-解码器卷积神经网络的每个卷积层添加空间和通道注意力模块,加强模型对图像特征的空间信息和通道信息(如血管的大小、形态和连通性等特点)的利用,从而改善视网膜血管的分割效果。其中,空间注意力模块关注于血管的拓扑结构特性,而通道注意力模块关注于血管像素点的正确分类。此外,在训练过程中采用Dice损失函数解决了视网膜血管图像正负样本不均衡的问题。在3个公开的眼底图像数据库DRIVE,STARE和CHASE_DB1上进行了实验,实验数据表明,所提算法的准确率、灵敏度、特异性和AUC值均优于已有的视网膜血管分割方法,其AUC值分别为0.9889,0.9812和0.9831。实验证明,所提算法能够有效提取健康视网膜图像和病变视网膜图像中的血管网络,能够较好地分割细小血管。

基于编码-解码器架构的光场深度估计方法

针对现有光场深度估计方法存在的计算时间长和精度低的问题,提出了一种融合光场结构特征的基于编码-解码器架构的光场深度估计方法。该方法基于卷积神经网络,采用端到端的方式进行计算,一次输入光场图像就可获得场景视差信息,计算量远低于传统方法,大大缩短了计算时间。为提高计算精确度,网络模型以光场图像的多方向极平面图堆叠体(Epipolar Plane Image Volume,EPI-volume)为输入,先利用多路编码模块对输入的光场图像进行特征提取,再使用带跳跃连接的编码-解码器架构进行特征聚合,使网络在逐像素视差估计时能够融合目标像素点邻域的上下文信息。此外,模型采取不同深度的卷积块从中心视角图中提取场景的结构特征,并将该结构特征引入对应的跳跃连接中,为视差图预测提供了额外的边缘特征参考,进一步提高了计算精确度。对HCI-4D光场基准测试集的实验结果表明,所提方法的坏像素率(BadPix)指标比对比方法降低了31.2%,均方误差(MSE)指标比对比方法降低了54.6%。对于基准测试集中的光场图像,深度估计的平均计算时间为1.2 s,计算速度远超对比方法。

基于DBSE-Net的大田稻穗图像分割

稻穗精准分割是准确估测水稻产量的关键。为实现大田环境下不同品种与生育期稻穗的准确分割,该研究提出了基于注意力机制的稻穗分割网络(Double Branch Squeeze-and-Excitation Network,DBSE-Net)。首先,提出一个双分支压缩与激励(DoubleBranchSqueeze-and-Excitation,DBSE)注意力模块,通过同时使用全局平均池化(GlobalAverage Pooling,GAP)和全局最大池化(Global Max Pooling,GMP)编码输入特征的通道信息,以实现更精准的通道注意力推断。然后,为了强化稻穗特征并抑制背景区域特征,将DBSE模块添加到编码-解码分割框架中构建DBSE-Net分割网络。最后,在自采集的稻穗图像数据集上进行分割性能测试,DBSE-Net对稻穗分割的像素准确率、平均交并比和F1分数分别达到了94.32%、87.59%和91.86%,比次优模型DeepLabv3+的结果分别高出1.61、2.56和1.20个百分点,在单张256×256(像素)图像上耗时0.03s,是DeepLabv3+分割速度的5.3倍。在公开的稻穗图像数据集上进行泛化性能测试,DBSE-Net能够有效分割出稻穗区域。该研究结果表明,DBSE-Net能够对不同品种与生育期稻穗实现高效精准分割,具有良好的泛化性,可以为水稻产量评估提供参考。

基于多输入多输出编解码器网络的图像去模糊

针对动态场景下非均匀盲去模糊算法存在去模糊不彻底和纹理细节丢失的问题,提出了一种基于多输入多输出编解码器网络的图像去模糊方法。首先,采用一个特征提取模块获取不同尺度模糊图像的全局和局部特征信息,为网络提供更丰富、更全面的图像特征信息。其次,使用特征融合模块对多尺度特征进行融合,使不同尺度下的上下文特征与细节信息可以在单个U-net网络中流动,增强了特征信息的流动性,解决了传统方法中多个子网络堆叠导致特征流动受阻的问题。最后,设计了一个由L1损失、多尺度频率重建损失和边缘损失组成的混合损失函数,在提升图像复原效果的同时更好地保留纹理结构和边缘信息。为了评估网络去模糊性能,在基准数据集GoPro和HIDE上进行测试,复原图像的峰值信噪比均值分别为31.94、29.45 dB,结构相似度均值分别为0.961、0.936,均高于相比较的去模糊算法。在视觉效果上,恢复的图像纹理结构和边缘更清晰,更接近真实图像。所提出的网络模型能够获取更丰富的特征信息,增强了网络内部特征的流动能力,取得了较好的去模糊效果。

基于改进U-Net网络的腺体细胞图像分割算法

针对腺体图像在自动分割过程中由于多尺度目标和信息丢失影响导致准确率降低的问题,文中采用了一种引入注意力模块的全卷积神经网络模型。该模型遵循编码器-解码器结构,在编码网络中用空洞残差卷积层代替原有的普通卷积层,并添加空洞金字塔池;再在解码网络中加入注意力模块,使模型输出高分辨率特征图,提高对多尺度目标的分割精度。实验结果表明,提出的网络模型参数少分割精度高,对腺体图像的平均分割精度高达89.7%,具有较好的鲁棒性。

基于多尺度注意力的生成式信息隐藏算法

针对现有生成式信息隐藏算法嵌入容量低且提取的秘密图像视觉质量欠佳的问题,提出基于多尺度注意力的生成式信息隐藏算法。首先,设计基于多尺度注意力的双编码-单解码生成器,载体图像与秘密图像的特征在编码端分两个支路独立提取,在解码端通过多尺度注意力模块进行融合,并利用跳跃连接为解码端提供不同尺度的细节特征,从而获得高质量的载密图像。其次,在U-Net结构的提取器中引入自注意力模块,以弱化载体图像特征、增强秘密图像深层特征,并利用跳跃连接弥补秘密图像细节特征,提高秘密信息提取的准确率;同时,多尺度判决器与生成器的对抗训练可以有效提升载密图像的视觉质量。实验结果表明,所提算法在嵌入容量为24 bpp的情况下,生成的载密图像峰值信噪比(PSNR)和结构相似性(SSIM)平均可达到40.93 dB和0.9883,且提取的秘密图像PSNR和SSIM平均可达到30.47 dB和0.9543。

基于类别-实例分割的室内点云场景修复补全

三维室内场景修复补全是计算机图形学﹑数字几何处理﹑3D计算机视觉中的重要问题.针对室内场景修复补全中难以处理大规模点云数据的问题,本文提出了一种基于类别-实例分割的室内点云场景修复补全框架.该框架包括点云场景分割模块和点云形状补全模块,前者由基于PointNet的类别分割网络和基于聚类的实例分割模块完成,后者由基于编码器-解码器结构的点云补全网络实现.本文框架以缺失的室内场景点云数据为输入,首先根据“类别-实例”分割策略,采用PointNet对室内场景进行类别分割,并利用基于欧式距离的聚类方法进行实例分割得到室内各家具点云,然后借助点云补全网络将分割出的缺失家具点云逐一进行形状补全并融合进原始场景,最终实现室内点云场景的修复.其中,为了实现缺失家具点云形状的补全,本文提出了一种基于编码器-解码器结构的点云补全网络,首先通过输入变换和特征变换对齐缺失的家具点云数据采样点位置与特征信息;然后借助权共享多层感知器和PointSIFT特征提取模块对各采样点提取形状特征和近邻点特征信息,并利用最大池化层与多层感知器编码提取出采样点的特征码字;最后将采样点特征码字加上网格坐标数据作为解码器的输入,解码器使用两个连续的三层感知器折叠操作将网格数据转变成完整的点云补全数据.实验结果表明,本文提出的点云补全网络能够较好地补全室内场景中缺失的家具结构形状,同时基于该网络的场景修复补全框架能够有效修复大型室内点云场景.

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,所提方案无须对图像进行预处理,采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效地保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)的平均值最高达到了36.2 dB和0.98。

融合多尺度特征信息的图像雨滴去除方法

针对雨滴使雨天图像背景特征模糊失真的问题,提出一种融合多尺度特征信息的图像雨滴去除算法。首先,搭建了一个编码-解码神经网络来学习图像特征映射,考虑到雨滴的物理形状特征,采用雨滴形状驱动注意力模块来捕捉雨滴位置。然后,引入空间与通道协调注意力机制,加强图像重要空间和通道特征权重。接着,利用空洞卷积、非对称卷积和金字塔结构设计了新型空洞空间卷积池化金字塔模块,以捕获图像的多尺度特征。最后,在同尺度的编码-解码卷积层间加入跳跃连接,将特征信息馈送到网络深处,达到去除图像中雨滴的目的。实验结果表明:本文算法在公开数据集Qian上的PSNR达到30.75,SSIM达到0.9257;在自制雨天数据集上也可以有效去除图像中的雨滴。

跨尺度点匹配结合多尺度特征融合的图像配准

图像配准在脑部疾病的计算机辅助诊疗和远程手术等方面具有重要作用。U-Net及其变体网络广泛应用于医学图像配准领域,在配准精确度和配准时间上取得了较好效果。然而,现有的配准模型在处理复杂图像形变时,难以学习到图像中微小结构的边缘特征,且忽视了不同尺度上下文信息的关联。针对上述问题,本文提出了一种基于跨尺度点匹配结合多尺度特征融合的配准模型。首先,在模型的编码结构中引入跨尺度点匹配模块,增强对图像突出区域特征的表达以及对微小结构边缘细节特征的把握;然后,在解码结构中对多尺度特征进行融合,形成更全面的特征描述;最后,在多尺度特征融合模块中融入注意力模块,突出空间和通道的信息。在3个脑部核磁共振(Magnetic Resonance,MR)数据集上的实验结果表明,以OASIS-3数据集为例,本文方法的配准精确度相较于Affine、SyN、VoxelMorph以及CycleMorph等方法,本文方法分别提升了23.5%、12.4%、0.9%和2.1%;ASD值相较于各方法分别降低了1.074、0.434、0.043和0.076。本文提出的模型能更好地把握图像的特征信息,提升配准的精确度,对医学图像配准的发展具有重要意义。

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上(TensorRT测速环境),本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;在CamVid数据集以239 FPS的实时性达到74.8%mIoU的准确性。实验结果表明,本文算法在准确性与实时性之间取得了有效平衡,对比其他算法的语义分割性能具有显著提升,为实时城市街景语义分割领域带来了新的突破。

海洋涡旋智能检测研究进展

海洋涡旋是一种常见的海洋现象,在全球海洋物质和能量的输运中起着重要作用。随着海洋研究技术手段的不断提升,各类海洋涡旋检测方法应运而生。传统涡旋检测方法应用广泛,但其过度依赖于专家经验设置阈值和持续的人工干预,存在检测误差较大、工作效率低以及全球普适性差等问题,难以适应复杂多变的海洋环境。当前人工智能快速发展,其在海洋涡旋智能检测中能够自动、快速地提取图像深层特征,有效解决海洋现象特征相似度高、几何差异大的问题。该文立足于当前海洋涡旋智能检测的发展现状,从编码器-解码器结构、全卷积神经网络、多尺度上下文方法和注意力机制等方面回顾了不同深度学习方法在海洋涡旋智能检测中的应用,以期为海洋涡旋研究提供一些启示和参考。

基于空洞卷积和多特征融合的混凝土路面裂缝检测

混凝土路面的裂缝检测是确保道路安全的重要基础任务。针对混凝土路面的复杂背景和裂缝本身复杂的拓扑结构,提出了一种基于空洞卷积和多特征融合的混凝土路面裂缝检测网络,该网络采用基于U-Net的编码-解码结构。在编码阶段,使用改进的残差网络Res2Net提高特征提取能力;在网络的中间部分,使用串联和并联相结合的不同空洞率的空洞卷积,从而在增加特征点的感受野的同时不会降低特征图的分辨率;在解码阶段,融合了从低层卷积到高层卷积的多尺度和多级特征,提高了裂缝检测的准确性。为证明所提算法的有效性和准确性,将其与现有的部分检测方法进行了比较并使用F-score来评估检测性能。在多个混凝土路面数据集上的实验结果表明,该算法提高了裂缝检测的准确性,具有较好的鲁棒性。

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。

三峡入库洪水概率预报的深度学习模型

将长短时记忆(LSTM)神经网络嵌套至编码-解码(ED)结构,构建了LSTM-ED深度学习模型,采用贝叶斯概率预报处理器量化洪水预报不确定性,提出了一种三峡入库洪水概率预报业务方法,并讨论了降雨预报对洪水概率预报性能的影响。选用向家坝—三峡坝址区间流域2010—2021年汛期6 h降水径流资料序列训练和检验模型,开展了1~7 d预见期入库洪水预报。结果表明:LSTM-ED模型的模拟预报精度优于LSTM模型,验证期1~7 d预见期纳什效率系数高于0.92;概率预报连续排位概率分数相对平均绝对误差降低26.82%~32.74%,考虑预报降雨可进一步提高概率预报性能,为调度决策者提供可靠的风险信息。

基于混合深度学习模型的洪水过程概率预报研究

传统的人工神经网络模型无法量化洪水预报的不确定性,而且在多时段连续预报中未考虑输出的时间相关性。本文通过融合新安江(XAJ)模型、基于外源输入编码-解码(EDE)结构的长短期记忆(LSTM)神经网络和混合密度网络(MDN),构建了XAJ-LSTM-EDE-MDN混合深度学习模型,以实现洪水过程概率预报。该模型在考虑预报洪水时间相关性的前提下,将解码过程产生的点估计转化为条件概率分布的估计;进一步采用最大似然估计法建立了损失函数,通过自适应矩估计(Adam)算法优选模型参数。在陆水和建溪两个流域的研究结果表明:该模型在不降低XAJ-LSTM-EDE模型预报精度的前提下,可有效反映预报洪水过程的不确定性,获得合理可靠的置信区间和优良的概率预报性能,为水库防洪调度等决策提供更多的风险信息,同时为研究深度学习在洪水概率预报中的应用提供参考。

基于注意力机制和可变形卷积的路面裂缝检测

针对较复杂背景下路面裂缝检测问题,由于基于深度学习的图像分割算法检测效果不甚理想,以及裂缝图像自身像素类别不平衡,提出了一种基于注意力机制和可变形卷积的路面裂缝检测网络,该网络基于编码-解码结构进行构建。为了解决较为复杂背景裂缝检测困难的问题,首先,由可变形卷积提升网络对不同形状裂缝线性特征的学习能力;其次,使用密集连接机制强化特征信息;然后,在解码阶段采用转置卷积和桥接方式与编码阶段特征逐步融合,并结合多级特征融合的思想,提高网络的检测精度;最后,引入注意力模块(SimAM),在不增加网络参数的前提下,更加关注目标特征的提取,抑制背景特征。在两个公开裂缝数据集上进行实验来验证该算法的有效性,实验结果表明,该算法的各项性能评价指标均优于对比算法,BCrack数据集的平均像素精度、平均交并比分别达到92.12%和84.79%,CFD数据集的平均像素精度、平均交并比分别达到91.02%和74.75%,在复杂背景裂缝检测下表现良好,可应用于路面维修工程。

基于降噪循环神经网络的风电功率预测

针对风电功率数据的时序性特点,提出降噪循环神经网络模型对电场中短期内的风电功率进行预测.通过模型能够挖掘其蕴含的知识,提高电力系统的稳定性,优化电力调度.模型首先采用循环神经网络构建一个编码-解码结构,设计编码器从序列变量中获取相应的深度特征,再通过解码器对深度特征进行解码,还原输入序列的状态并预测下一时刻的输出.进而,模型在解码器中设计降噪模块和预测模块,克服一般循环神经网络难以对带噪声数据进行预测的问题,使得模型能够对含有噪声的输入变量进行分析.通过利用电力物联网所采集的数据进行实验,结果证明提出的方法能很好地对风电功率进行预测,达到较好的预测效果.