利用Encoder-Decoder框架的深度学习网络实现绕射波分离及成像

利用单纯绕射波场实现地下地质异常体的识别具有坚实的理论基础,对应的实施方法得到了广泛研究,且有效地应用于实际勘探。但现有技术在微小尺度异常体成像方面收效甚微,相关研究多数以射线传播理论为基础,对于影响绕射波分离成像精度的因素分析并不完备。相较于反射波,由于存在不连续构造而产生的绕射波能量微弱并且相互干涉,同时环境干扰使得绕射波进一步湮没。因此,更高精度的波场分离及单独成像是现阶段基于绕射波超高分辨率处理、解释的重点研究方向。为此,首先针对地球物理勘探中地质异常体的准确定位,以携带高分辨率信息的绕射波为研究对象,系统分析在不同尺度、不同物性参数的异常体情况下绕射波的能量大小及形态特征,掌握绕射波与其他类型波叠加的具体形式;然后根据相应特征性质提出基于深度学习技术的绕射波分离成像方法,即利用Encoder-Decoder框架的空洞卷积网络捕获绕射波场特征,从而实现绕射波分离,基于速度连续性原则构建单纯绕射波场的偏移速度模型并完成最终成像。数据测试表明,该方法最终可满足微小地质异常体高精度识别的需求。

A NAM Representation Method for Data Compression of Binary Images

A representation method using the non-symmetry and anti-packing model （NAM） for data compression of binary images is presented. The NAM representation algorithm is compared with the popular linear quadtree and run length encoding algorithms. Theoretical and experimental results show that the algorithm has a higher compression ratio for both Iossy and Iossless cases of binary images and better reconstructed quality for the Iossy case.

A novel binary image representation algorithm by using NAM and coordinate encoding procedure and its application to area calculation

We propose a novel binary image representation algorithm using the non-symmetry and anti-packing model and the coordinate encoding procedure （NAMCEP）. By tak- ing some idiomatic standard binary images in the field of image processing as typical test objects, and by comparing our proposed NAMCEP representation with linear quadtree （LQT）, binary tree （Bintree）, non-symmetry and anti-packing model （NAM） with K-lines （NAMK）, and NAM representa- tions, we show that NAMCEP can not only reduce the aver- age node, but also simultaneously improve the average com- pression. We also present a novel NAMCEP-based algorithm for area calculation and show experimentally that our algo- rithm offers significant improvements.

基于映射空间编码的高速运动轨道图像去模糊研究

针对轨道缺陷检测系统因镜头抖动或相机快速移动而导致所采集图像较为模糊的问题,提出一种基于最大后验概率估计思想的映射空间编码的高速运动轨道图像去模糊算法。首先,该算法使用深度编解码器和残差网络分别对数据集中清晰图像到模糊图像的映射关系和模糊核进行编码,为了保证编码时频率信息的完整性,算法在传统的残差模块上引入快速傅里叶变换通道构成双通道残差网络,以补偿多次特征提取带来的频率损失;其次,算法采用深度图像先验(Deep Image Prior,DIP)将潜在的清晰图像和模糊核进行参数化,再利用先验得到的模糊核和清晰图像来调用编码空间中的映射关系;最后,通过交替优化潜在的清晰图像和模糊核,从而去逼近一个真实未知的映射,进而实现真实场景下高速运动轨道图像的去模糊。实验结果表明,双通道残差模块提取的特征图频率信息分量强度普遍高于传统的残差模块,相较于使用传统残差模块实现该算法,采用双通道残差模块可使峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)提升0.84 dB,结构相似性(Structural Similarity,SSIM)提高0.025 1。与现有的深度学习去模糊算法相比,提出的去模糊算法对高速轨道检测系统所采集图像的去模糊效果更佳,在性能方面相较于最好的去模糊算法,PSNR提高了1.84 dB,SSIM提升了0.017 3,显著提升了采集图像的质量。研究结果可为下一步识别轨道部件是否存在缺陷提供清晰图像。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

SOSNet:一种非对称编码器-解码器结构的非小细胞肺癌CT图像分割模型

非小细胞肺癌严重损害人类健康,早期非小细胞肺癌CT(Computed Tomography)图像中的肿瘤结节体积小,不易发现,极易造成漏诊和误诊.为了精确分割非小细胞肺癌CT图像中的小体积肿瘤结节,本文提出SOSNet(Small Object Segmentation Networks)自动分割模型,利用ResNet(Residual Network)基础层和空洞卷积构造非对称编码器-解码器结构作为分割主网络,利用轴向取反注意力模块ARA(Axial Reverse Attention)逐步擦除背景中对分割有影响的结构,再使用结构细化模块SR(Structure Refinement)对主网络输出的粗略特征图进行结构细化,从而实现非小细胞肺癌肿瘤结节分割.在非小细胞肺癌公开数据集的实验测试表明,本文提出的小目标自动分割模型SOSNet可以有效分割出非小细胞肺癌CT图像中的小体积肿瘤结节,其mDice(mean-Dice)、mIoU(mean Intersection over Union)、Sensitivity、F1、Specificity、平均绝对误差MAE(Mean Absolute Error)均优于当前最先进的小目标分割模型CaraNet(Context Axial Reverse Attention Network).

基于编解码多尺度特征优化的图像去雾算法

真实雾气不均匀分布的特点会导致基于合成数据集训练的网络对真实雾气下拍摄的图像的复原质量不佳.此外,现有去雾模型较大的网络参数量会影响去雾的实时性.针对这两个问题,提出一种参数量较低的基于编解码多尺度特征优化的图像去雾算法以去除真实场景下图像的雾气.首先,在编码部分利用跨通道上下文注意力隐式地建模像素间的关系,以恢复去雾后图像中物体的结构.然后,设计信息调节子网弥补编码器遗漏的浅层信息,解决细节恢复粗糙的问题.最后,在解码部分设计特征矫正子网,采用相减式残差结构减少噪声,保证输出结果的正确性.在多种真实雾数据集上,对所提方法的普适性进行实验.实验结果表明:在REVIDE真实雾数据集中,与MSBDN方法相比,所提方法在参数量降低46%的基础上获得了PSNR 1.25dB的提升;在OHaze、I-Haze以及RTTS多种室内外真实雾测试集中,与其他去雾方法相比,所提方法都取得了更好的PSNR结果和视觉效果.

基于多阶段优化的壁画图像色彩还原

敦煌壁画是中国最有价值和不可再生的文化遗产之一。而壁画图像的色彩复原对敦煌壁画的数字化保护和展示具有重要意义。为了解决褪色壁画图像色彩还原过程中出现的边缘伪影和色彩混叠问题,提出一种基于多阶段优化的壁画图像色彩还原方法。该方法利用高斯核函数得到壁画图像的多尺度表示。同时,构建三个基于编码器-解码器的迁移子网来学习壁画图像多尺度表示的语义特征,在参考壁画和褪色壁画之间建立语义关联来恢复壁画颜色。采用由粗到细的优化策略,在各个阶段间构建跨尺度特征融合模块实现图像多尺度表示的特征融合,建立不同阶段间的特征依赖关系。通过多阶段逐步优化,实现壁画图像的色彩还原。通过对临摹壁画和真实壁画的实验表明,该方法能够较有效地消除噪声影响,在还原壁画色彩的同时能较好地保持褪变色壁画图像的边缘纹理信息。

全尺度密集卷积U型网络的视网膜血管分割算法

针对视网膜图像中血管尺度跨度大、细小血管与背景高度相似导致误分割和未分割等问题,提出一种全尺度密集卷积U型网络的视网膜血管分割方法。为提取更复杂的特征信息,构建级联卷积融合密集块(cascade convolutional fusion dense blocks, CCF-DB)作为U型网络的编解码器用以提取视网膜血管的特征信息;在网络最底端嵌入混合注意力级联卷积密集块(mixed attention cascaded convolutional dense block, MACC-DB),进一步提升感受野,获取更高维的语义特征信息;在模型的解码部分采用全尺度的跳跃连接,捕获不同尺度下的血管特征信息,提升模型的分割精度。实验结果表明,在DRIVE数据集上,相比于U-Net、U-Net3+、SA-Unet、FR-Unet等算法,此算法的AUC值达到了98.26%,准确率为95.82%;在CHASE-DB1数据集上,此算法的AUC值达98.84%,准确率达96.66%。采用此算法进行视网膜血管分割,分割的精度和鲁棒性均有不同程度的提升,对细小血管分割达到了优良的效果。

基于门控位置编码的壁画图像多级色彩还原

近年来,壁画图像的色彩还原研究已成为壁画文物保护和展示领域的一个热点问题。针对壁画色彩还原面临的整体特征信息难以有效提取和保持,局部色彩还原易出现假色以及色彩溢出等问题,提出基于门控位置编码的壁画图像多级色彩还原方法。首先,构建基于全局特征约束的编码器网络,并通过改进的多核多值池化算法提取图像的全局特征梯度作为下采样取值标准以建立壁画图像特征金字塔,从而减少壁画图像在特征编码过程中的整体特征损失;其次,为准确还原壁画图像的局部色彩信息,设计基于门控位置编码的色彩迁移模块,该模块通过约束空间域中内容特征与色彩特征之间相似性核的学习,构建色彩特征在待还原壁画图像中的准确映射,从而减少还原图像中的假色现象与色彩溢出。实验结果表明,该方法所生成的壁画还原图像相较于AdaIN(Adaptive Instance Normalization)、AST(ArbitraryStyleTransfer)等对比方法所生成的壁画还原图像,NIQE(NaturalImageQuality Evaluator)和PIQE(Perception based Image Quality Evaluator)都取得了最优的结果。可见,所提方法能有效还原壁画色彩信息并保持待还原壁画图像的整体结构纹理特征。

基于双参考优化的壁画图像色彩还原

褪变色壁画图像的色彩还原研究可以促进壁画的保护和展示。壁画图像色彩还原旨在将退化壁画图像的色彩褪变区域还原为原有色彩。常规的基于单幅参考壁画图像的色彩还原方法难以选取与退化壁画图像相似的参考壁画图像,进而影响色彩还原质量。为此,提出一种基于双参考优化的壁画图像色彩还原方法。采用双参考策略,即使用2幅参考壁画图像对退化壁画图像进行色彩还原,利用图像优化模块抑制褪变色壁画图像中普遍存在的噪声、划痕等多重退化,通过编码器-解码器网络编码提取壁画图像多尺度特征,并构建特征融合模块优化壁画图像的多尺度特征。采用双参考指导模块计算参考壁画图像与退化壁画图像的语义对应置信度,以实现图像区域间的相似性匹配,并实现2幅参考壁画图像的风格融合。在此基础上,利用融合特征实现退化壁画图像的色彩还原。实验结果表明,该方法可以较准确地还原退化壁画图像色彩,同时能较好保持壁画图像原有的边缘结构信息,并且使用无参考图像质量评估指标对各个方法的还原壁画图像进行客观评估,与对比方法相比,该方法在客观评估指标上最多可降低12.2%。

基于卷积调制与空间协作的水下图像增强

针对光线在水中的散射和吸收效应造成水下图像纹理和结构不清晰的问题,提出一种基于卷积调制(CM)与空间协作(SC)的水下图像增强算法。以编码器-解码器作为基础网络,使用RepVGG的浅层和深层网络分别提取水下图像的纹理和结构特征。首先,特征主导网络将RepVGG中提取到的水下图像特征转化成具有不同尺度的纹理和结构特征,使其与解码器中的特征图进行拼接融合。其次,在编码器中使用卷积调制模块,采用深度可分离卷积(DSConv)模拟自注意力机制的方式减少图像细节信息的丢失,提高编码器特征提取的能力。最后,在解码器中使用空间协作卷积(SCConv),在空间维度上处理水下特征保留更多的位置信息,以提高解码器对融合后特征的增强能力。实验结果表明,该算法在视觉感知与性能指标上优于对比算法,峰值信噪比(PSNR)和结构相似性(SSIM)指标最高达到23.4465 dB和0.8946,水下彩色图像质量评价(UCIQE)和水下图像质量测量(UIQM)指标最高达到0.5826和3.0689,进一步证明了该算法能够有效增强水下图像的纹理和结构特征,具有较好的视觉感知效果。

基于改进残差网络的运动目标模糊图像复原方法

传统的残差网络在复原运动目标模糊图像时,在模糊程度较严重的情况下,存在特征提取不充分、噪声干扰等问题,导致恢复出的图像无法完全达到原始图像的清晰度和细节。对此,提出基于改进残差网络的运动目标模糊图像复原方法。对采集到的运动目标模糊图像,采用多损失函数融合方法改进传统残差块结构,构建编码器-解码器网络训练结构,训练损失函数,提升网络的特征学习能力。通过完成训练的网络,输出运动目标模糊图像复原结果。实验结果表明,该方法复原运动目标模糊图像的峰值信噪比高于30 dB,结构相似性高于0.9。

结合密集注意力的自适应特征融合图像去雾网络

目前,大多数图像去雾算法忽视图像的局部细节信息,无法充分利用不同层次的特征,导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象,针对这一问题,提出结合密集注意力的自适应特征融合图像去雾网络.该网络以编码器-解码器结构为基本框架,中间嵌入特征增强部分与特征融合部分,通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块,使网络可以关注图像的局部细节信息,同时增强特征的重复利用,有效防止梯度消失;在特征融合部分构建自适应特征融合模块融合低级与高级特征,防止因网络加深而造成浅层特征退化.实验结果表明,所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异,在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889,在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788,有效解决了颜色失真、对比度下降和雾霾残留等问题.

基于编码-解码网络的大容量鲁棒图像隐写方案

针对基于编码-解码网络的大容量隐写模型存在鲁棒性弱、无法抵抗噪声攻击和信道压缩的问题,提出一种基于编码-解码网络的大容量鲁棒图像隐写方案。首先,设计了基于密集连接卷积网络(DenseNet)的编码器、解码器和判别器,编码器将秘密信息和载体图像联合编码成隐写图像,解码器提取秘密信息,判别器用于区分载体图像和隐写图像。在编码器和解码器中间加入噪声层,采用Dropout、JPEG压缩、高斯模糊、高斯噪声和椒盐噪声模拟真实环境下的各类噪声攻击,编码器输出的隐写图像经过不同种类的噪声处理,再由解码器解码;通过训练模型,解码器能够对噪声处理后的隐写图像提取秘密信息,以抵抗噪声攻击。实验结果表明,所提方案在360×360像素的图像上隐写容量达到0.45~0.95 bpp,与次优的鲁棒隐写方案相比,相对嵌入容量提升了2.04倍;解码准确率可达0.72~0.97;与未添加噪声层的隐写方案相比,平均解码准确率提高了44个百分点。所提方案在保证高嵌入量、高编码图片质量的同时具有更强的抗噪声攻击能力。

伪三维激发的全局去噪研究

纳米材料的三维原子结构是影响其功能特性的重要因素,电子显微三维重构技术已成为研究纳米材料和生物大分子三维结构的重要手段.由于高能电子会破坏样品结构,导致重构图像中会出现伪影,因此对重构图像进行去噪处理是十分必要的.针对现有三维图像去噪方法采用分块局部处理,忽略空间邻域信息问题,提出了一种基于伪三维激发的全局去噪网络P3E-Net.针对网络中三维卷积会带来巨大开销,设计了一种伪三维激发模块来降低网络参数量.首先将带噪声的重构图像送入P3E-Net,利用编码器提取图像特征,然后通过伪三维激发模块保存空间信息,最后利用解码器得到去噪后的三维图像.在FCCPt和STEMPt两个数据集上与多个模型进行对比,实验结果表明,与现有模型相比,峰值信噪比提升了3.3dB,原子识别正确率提升了5.6%,网络结构参数量降低了8.7M.

跨尺度点匹配结合多尺度特征融合的图像配准

图像配准在脑部疾病的计算机辅助诊疗和远程手术等方面具有重要作用。U-Net及其变体网络广泛应用于医学图像配准领域,在配准精确度和配准时间上取得了较好效果。然而,现有的配准模型在处理复杂图像形变时,难以学习到图像中微小结构的边缘特征,且忽视了不同尺度上下文信息的关联。针对上述问题,本文提出了一种基于跨尺度点匹配结合多尺度特征融合的配准模型。首先,在模型的编码结构中引入跨尺度点匹配模块,增强对图像突出区域特征的表达以及对微小结构边缘细节特征的把握;然后,在解码结构中对多尺度特征进行融合,形成更全面的特征描述;最后,在多尺度特征融合模块中融入注意力模块,突出空间和通道的信息。在3个脑部核磁共振(Magnetic Resonance,MR)数据集上的实验结果表明,以OASIS-3数据集为例,本文方法的配准精确度相较于Affine、SyN、VoxelMorph以及CycleMorph等方法,本文方法分别提升了23.5%、12.4%、0.9%和2.1%;ASD值相较于各方法分别降低了1.074、0.434、0.043和0.076。本文提出的模型能更好地把握图像的特征信息,提升配准的精确度,对医学图像配准的发展具有重要意义。

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

一种改进的超分辨率轻量化特征融合方法

图像超分辨率技术可以通过提高图像的分辨率从而有效提升图片的质量和观看的视频体验。然而,小型嵌入式设备因硬件资源受限难以运行常规模型。为减少模型的参数量以及加快模型运算速度,提出一种改进的超分辨率轻量化特征融合方法ILFM。设计结构间部分参数共享模块,使得在参数量基本不变的情况下增强模块的表达能力,进而增强模型输出图像质量,设计一种更加轻量的可分离编解码基本模块。在模型中双层网络结构和改进的参数共享方法被设计为1个统一结构。除此之外,采用通道叠加的图像预处理方式来提取更多的图像特征。在DIV2K和Flickr2K数据集上进行训练,在Set5和BSDS100等多个基准数据集上进行测试,实验结果表明,相较于基准模型IMDN,ILFM在超分辨率系数为2和4且输出更高图片质量的情况下参数量分别降低了63%和61%。对比当前最优的轻量化超分辨率模型,ILFM能够在多个数据集的峰值信噪比(PSNR)和结构相似性(SSIM)上取得平均0.04378 dB和0.0013的增长,具有更优的综合性能。

New Algorithm for Binary Connected-Component Labeling Based on Run-Length Encoding and Union-Find Sets

Based on detailed analysis of advantages and disadvantages of the existing connected-component labeling （CCL） algorithm,a new algorithm for binary connected components labeling based on run-length encoding （RLE） and union-find sets has been put forward.The new algorithm uses RLE as the basic processing unit,converts the label merging of connected RLE into sets grouping in accordance with equivalence relation,and uses the union-find sets which is the realization method of sets grouping to solve the label merging of connected RLE.And the label merging procedure has been optimized：the union operation has been modified by adding the ＂weighted rule＂ to avoid getting a degenerated-tree,and the ＂path compression＂ has been adopted when implementing the find operation,then the time complexity of label merging is O（nα（n））.The experiments show that the new algorithm can label the connected components of any shapes very quickly and exactly,save more memory,and facilitate the subsequent image analysis.