一种编解码结构的车牌图像超分辨率网络

针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车牌图像的纹理、字符等特征进行提取,解码器对车牌特征进行重构;然后,设计一种基于语义监督的判别器网络,在网络损失中引入了对抗损失与CTC(connectionist temporal classification)损失,增强生成器网络对车牌图像语义特征的表征能力;最后,基于VGG16网络提取车牌顶角点特征,利用坐标变换方法对车牌图像进行矫正,进一步提高重构清晰度与识别准确率。采用所提网络在自建XAUAT-Parking数据集和公开CCPD数据集上进行超分辨率重构与识别实验,结果表明:所提网络在CCPD数据集上的平均峰值信噪比可达25.5 dB,结构相似性(SSIM)可达0.989;在XAUAT-Parking数据集上峰值信噪比可达26.6 dB,结构相似性可达0.997。研究结果表明,该网络有较好的车牌图像超分辨率重建效果,而且对车牌关键信息缺失问题具有较强的鲁棒性。

轻量金字塔解码结构的单目深度估计网络

针对单目深度估计网络庞大的参数量和计算量,提出一种轻量金字塔解码结构的单目深度估计网络,可以在保证估计精度的情况下降低网络模型的复杂度、减少运算时间。该网络基于编解码结构,以端到端的方式估计单目图像的深度图。编码端使用ResNet50网络结构;在解码端提出了一种轻量金字塔解码模块,采用深度空洞可分离卷积和分组卷积以提升感受野范围,同时减少了参数量,并且采用金字塔结构融合不同感受野下的特征图以提升解码模块的性能;此外,在解码模块之间增加跳跃连接实现知识共享,以提升网络的估计精度。在NYUD v2数据集上的实验结果表明,与结构注意力引导网络相比,轻量金字塔解码结构的单目深度估计网络在误差RMS的指标上降低约11.0%,计算效率提升约84.6%。

双路径特征融合编解码结构的高速语义分割

对基于深度学习的高精度图像语义分割模型参数量大、分割速度慢的问题,提出一种基于双路径特征融合编解码结构的语义分割模型.首先,该模型编码器通过对语义路径和空间路径同时进行编码,其能够融合不同的特征信息,弥补了空间信息和语义信息难以两全的弊端,对特征图进行高效的卷积操作;其次,该模型解码器通过融合高层语义信息和低层空间信息,有效地弥补了编码时下采样操作丢失的特征信息.在Cityscapes和Camvid数据集上的实验结果表明,整体模型的参数量仅为3.91×10^(6),在2个数据集上分别取得了67.7%和65.8%的均交并比,分割速度分别为111帧/s和86帧/s.对比其他同类模型,所提模型拥有更少的参数量和更高的精度,其分割速度远远超过实时语义分割的最低要求24帧/s.

基于编码-解码结构的多阶段图像去雨滴方法

针对附着镜头或玻璃表面的雨滴会造成图像退化的问题,提出了一种多阶段渐进式图像去雨滴方法。整个去雨滴过程被分解为多个更易于实现的阶段。首先在每个阶段设计多尺度融合的编码—解码网络以学习雨滴特征,通过构建带有门控循环单元的多尺度扩张卷积来细化内部传递的空间特征。然后引入无降维的通道注意力机制对特定空间特征下的通道信息进行提取。最后为加强每个阶段各部分之间的信息交换,采用跨阶段特征融合机制,在每个阶段的编码—解码网络之间加入横向连接,以实现特征信息的横向传递。在每个阶段之间加入监督注意模块,以增强不同阶段之间的信息传递,最终渐进地实现雨滴的去除。实验表明该方法能够有效地去除雨滴。

基于编-解码器结构的无人机群多任务联邦学习

针对传统联邦学习在无人机群应用中的局限性——要求所有参与者执行相同任务并拥有相同的模型结构,本文探索一种适用于无人机群的多任务联邦学习方法,设计一种新的编-解码器架构,以加强执行不同任务的无人机之间的知识共享.首先,为执行相同任务的无人机建立直接的知识分享机制,通过直接聚合方式实现同任务知识的有效融合;其次,对于执行不同任务的无人机,从所有无人机的编-解码器架构中提取编码器部分,构建一个全局编码器;最后,在训练环节,将本地编码器和全局编码器的信息整合到损失函数中,并通过迭代更新使本地解码器逐步逼近全局解码器,从而实现跨任务间的知识高效共享.实验结果表明:相较于传统方法,所提出的方法使无人机群在3个单任务上的性能分别提升1.79%、0.37%和2.78%,仅在1个任务上性能略微下降0.38%,但整体性能仍提升2.38%.

编码—解码结构的语义分割

目的语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码—解码结构的语义分割模型。方法运用Res Net-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样(DUpsampling)操作得到图像分割结果。结果此模型在2个公开数据集(Cityscapes数据集和PASCAL VOC 2012数据集)上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于Refine Net模型、Deep Labv2-CRF模型和LRR(Laplacian reconstruction and refinement)模型,平均交并比(m Io U)值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC2012数据集中,相比于Piecewise模型、DPN(deep parsing network)模型和GCRF(Gaussion conditional random field network)模型,m Io U值分别提高了6.23%、7.43%和8.33%。结论本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。

基于视觉Transformer和双解码器的红外小目标检测方法

当前基于卷积神经网络的红外小目标检测方法在编码器阶段受限于感受野,且解码器在多尺度特征融合中缺乏有效的特征交互。本文提出了一种基于编码器-解码器结构的新方法,针对现有红外小目标检测方法中的问题进行改进。该方法使用视觉Transformer作为编码器,能够有效地提取红外小目标图像的多尺度特征。视觉Transformer是一种新兴的深度学习架构,其通过自注意力机制捕捉图像中像素之间的全局关系,以处理长程依赖性和上下文信息。此外,本文还设计了一个由交互式解码器和辅助解码器组成的双解码器模块,旨在提高解码器对红外小目标的重构能力。该双解码器模块能够充分利用不同特征之间的互补信息,促进深层特征和浅层特征之间的交互,并通过将两个解码器的结果进行叠加,以更好地重构红外小目标。在广泛使用的公共数据集上的实验结果表明,本文提出的方法在F1和mIoU两个评价指标上的性能优于其他对比方法。

一种新的De Bruijn彩色结构光解码技术研究

为了有效地对De Bruijn彩色结构光编码图像进行高精度的解码,提出了一种新的解码方法,该方法包括基于梯度分析的中心彩色条纹提取方法、基于聚类分析的颜色分类方法和基于双梯度多通道动态规划的特征点匹配方法.该方法适用于每类颜色的像素点成线性分布的调制后结构光图像,能够有效地消除颜色干扰;同时充分利用局部邻域信息,有效地解决了特征点的匹配问题,提高了解码精度.实验表明该方法在不需要假定待测物体全表面单调和严格限制其连续性的条件下,可以有效地改善解码精度,具有较强的鲁棒性.

基于无人船的双分支解码轻量型分割网络研究

为保证水面无人艇(USVs)进行水上任务时能够顺利航行,需要对河道信息进行精确的提取,因此,对河道语义分割的网络模型进行了研究。针对河道图像分割中类间不一致和类内不一致的问题,文中提出了分割网络DBDL-Net,网络中设计双分支解码结构和双重损失函数,分别把握语义信息和空间信息;同时在编码部分设计了多尺度残差的轻量模块,一方面减少参数,一方面以不同的比例捕捉特征信息。最后在USVIn-land数据集上对模型进行消融和对比实验,实验结果表明:DBDL-Net的精确度和平均交并比最终达到了93.619%和87.682%,与其他先进分割网络相比,DBDL-Net也具有更佳的综合表现。

基于编码器-解码器结构的路面平整度预测

提出了基于编码器‒解码器结构的路面平整度预测模型。对比分析了不同网络层的表现,并比较了网络层个数、隐藏节点数、数据时间窗口对模型精度的影响。在美国交通部公开的LTPP(long-term pavement performance)数据库的基础上构建了国际平整度指数(IRI)数据集,并对模型进行了训练和评估。结果表明:采用门控循环单元(GRU)网络层的编码器‒解码器结构的预测性能最好,优于经典的机器学习模型XGBoost和单独长短期记忆(LSTM)网络。通过特征随机打乱的方式对不同输入特征的重要性进行了评估,结果显示路面结构和温度对于路面平整度预测比较重要,在数据库建设时应注意对这些数据的收集。

基于树形解码器的航空术语DEF自动生成

该文研究了基于HowNet的KDML语法体系的术语DEF自动生成问题,提出一种基于树形解码器的生成方法。在编码器端输入专业术语以及其他外部信息(术语的定义、术语子词的义原等);在解码器端交替使用义原解码器和关系解码器,同时使用注意力机制关注编码器端的各种表征信息,最终得到“义原-关系-义原”形式的输出,并组合成术语对应的义原树,进而得到术语的DEF表示以辅助专业领域HowNet的构建,最终取得了首义原F_(1)值74.13%、总义原F_(1)值53.92%、总关系F_(1)值53.33%、总三元组F_(1)值30.48%的结果。

基于双解码器结构的多尺度注意力特征融合网络的视网膜血管分割

针对眼底视网膜图像中血管形态不规则、难以分割的问题,提出一种基于双解码器结构的多尺度注意力特征融合网络模型,可以实现视网膜血管精确分割。双解码器分支网络结构能减少信息丢失,编码器中设计多尺度注意力特征融合模块来提取丰富的多尺度特征,结合空间注意力模块加强空间上下文信息提取,提高血管识别能力。利用挤压与激励模块对融合特征进行优化,抑制不相关特征通道,提高模型综合分割能力。在DRIVE和CHASEDB1数据集上的实验结果显示,召回率分别达到0.8411和0.8551,相较目前一些先进网络取得了较大进步,最大提升分别达到6.6%和8.25%。

DNeStCount:数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法

人群数量估计是人群管理系统的关键,对于预防踩踏事故和引导人群至关重要,已成为一个日益重要的任务和具有挑战性的研究方向。本文提出一种数据相关的拆分注意力机制的编码器-解码器结构的人群计数方法,称为DNe StCount。为应对视频监控的尺度变化和透视失真的挑战,将更密集的空洞采样比率应用到密集空洞空间金字塔池化模块DASPP设计中。为提升密度图估计的准确性,将可学习的、数据相关的上采样方法 DUpsampling应用到特征聚合模块DFA设计中。为弥补欧几里德损失可能存在对离群值敏感、训练不稳定等缺点,采用Smooth L1损失设计损失函数。在具有挑战性的数据集上进行的实验和分析表明,本文提出的人群计数方法 DNe St Count与其他主流方法相比更具有竞争力。

编码-解码多尺度卷积神经网络人群计数方法

针对基于多列卷积神经网络的人群计数方法存在的多尺度特征信息丢失、融合不佳以及密度图质量不高等问题,提出了一种编码-解码结构的多尺度卷积神经网络人群计数方法。编码器采用多列卷积捕获多尺度特征,通过空洞空间金字塔池化扩大感受野并减少参数量,保留尺度特征和图像的上下文信息;解码器对编码器输出进行上采样,实现高层语义信息和编码器前端低层特征信息有效融合,从而提升了密度图的输出质量。为增强网络对计数的敏感性,在以往像素空间损失的基础上考虑了计数误差,提出了一种新型损失函数。采用Shanghai Tech、Mall以及自建数据集进行了对比实验,结果表明:与之前最优方法相比,所提方法在Shanghai Tech数据集Part_A部分的平均绝对误差和均方误差分别降低了8.3%和21.3%,Part_B部分分别降低了12.9%和12.0%,Mall数据集分别降低了15.1%和23.8%,自建数据集分别降低了13.5%和7.1%;在不同人群场景下,所提方法的人群计数准确性和鲁棒性均优于其他对比方法的。

基于编解码双路卷积神经网络的视觉自定位方法

为了从单张RGB图像估计出相机的位姿信息,提出了一种深度编解码双路卷积神经网络(CNN),提升了视觉自定位的精度。首先,使用编码器从输入图像中提取高维特征;然后,使用解码器提升特征的空间分辨率;最后,通过多尺度位姿预测器输出位姿参数。由于位置和姿态的特性不同,网络从解码器开始采用双路结构,对位置和姿态分别进行处理,并且在编解码之间增加跳跃连接以保持空间信息。实验结果表明:所提网络的精度与目前同类型算法相比有明显提升,其中相机姿态角度精度有较大提升。

多层次编码—解码网络遥感图像建筑物分割

为提高高分辨率遥感影像建筑物边缘提取精度和高分辨率特征利用率,提出了一种基于残差分组卷积的高分辨率遥感影像建筑物提取方法。利用多层次编码—解码结构提取影像中建筑物不同尺度特征,同层次特征之间引入密集连接保证高分辨率特征的有效性,相邻层次特征之间引入交换单元增加不同深度的上下文信息交互。使用武汉大学建筑物数据集对模型进行训练及评估,与现有的全卷积神经网络SegNet、UNet和UNet++相比,评价指标recall、IoU、F 1等高出2%以上。实验结果表明该网络在对建筑物边缘精准提取方面具有很好的效果。

基于多输入多输出编解码器网络的图像去模糊

针对动态场景下非均匀盲去模糊算法存在去模糊不彻底和纹理细节丢失的问题,提出了一种基于多输入多输出编解码器网络的图像去模糊方法。首先,采用一个特征提取模块获取不同尺度模糊图像的全局和局部特征信息,为网络提供更丰富、更全面的图像特征信息。其次,使用特征融合模块对多尺度特征进行融合,使不同尺度下的上下文特征与细节信息可以在单个U-net网络中流动,增强了特征信息的流动性,解决了传统方法中多个子网络堆叠导致特征流动受阻的问题。最后,设计了一个由L1损失、多尺度频率重建损失和边缘损失组成的混合损失函数,在提升图像复原效果的同时更好地保留纹理结构和边缘信息。为了评估网络去模糊性能,在基准数据集GoPro和HIDE上进行测试,复原图像的峰值信噪比均值分别为31.94、29.45 dB,结构相似度均值分别为0.961、0.936,均高于相比较的去模糊算法。在视觉效果上,恢复的图像纹理结构和边缘更清晰,更接近真实图像。所提出的网络模型能够获取更丰富的特征信息,增强了网络内部特征的流动能力,取得了较好的去模糊效果。

基于编解码和局部增强的光电图像分割算法

针对光电图像语义分割问题,提出了一种基于编解码(Encoder-Decoder)结构和图像局部增强的分割算法。首先,采用基于互质因子的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块减小多尺度空洞卷积(Atrous Convolution)引入的网格效应,提升卷积核的像素近邻信息表征能力;其次,对分割难度较大的图像局部区域,采用融合平均交并比(Mean Intersection Over Union,MIOU)和交叉信息熵的损失函数,结合权值衰减策略,提高这些局部区域的像素权重。实验结果表明,提出的改进算法能有效提升图像语义分割精度。

多层级特征融合结构的单目图像深度估计网络

采用卷积神经网络对单目图像的深度进行估计时,存在深度信息不精确、边缘模糊以及细节缺失等问题。为此,提出一种多层级特征融合结构的深度卷积网络。该网络采用端到端的编-解码器结构,编码器使用ResNet101网络结构将图像转换为高维特征图,解码器使用上采样卷积模块从高维特征图中重建出深度图像,并对编码器与解码器中的不同层级特征进行融合。基于NYUv2数据集与KITTI数据集的实验结果表明,相比其他先进网络,该网络不仅能预测出更加准确的深度信息,而且能保持预测深度图像的边缘信息。

基于二重结构编码遗传算法求解背包问题的研究

针对背包问题传统的解决方法有动态规划法、分支界限法、回溯法。传统的方法不能有效地解决背包问题。文中提出二重结构编码的遗传算法解决背包问题,是一种适合于在大量的可行解中搜索最优解的有效算法,在约束条件的处理上结合贪婪算法,既加快了算法的收敛速度,又克服了传统方法容易陷入局部最优的特点,提高了搜索效率。通过计算机仿真试验结果表明,二重结构编码的遗传算法比基本遗传编码有更好的近似解,充分证明了使用二重结构编码的混合遗传算法来求解背包问题的有效性和实用性。