基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分(TV)损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积(GC)在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性(SSIM)和峰值信噪比(PSNR)分别提高了5.68%和7.87%,Frechet Inception距离(FID)降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。

结合密集连接块和自注意力机制的腺体细胞分割方法

针对目前常用的细胞分割方法在对腺体细胞进行分割时易出现误分割和分割不精细的问题,提出一种以U-Net为基本框架,结合密集连接块和自注意力机制的腺体细胞分割模型.首先将U-Net结构中卷积层组合构建成密集连接块,以不同尺度从图像中提取信息;然后在解码端引入自注意力机制,通过对局部特征建立丰富的上下文依赖模型,抑制不必要的特征传播,提高腺体细胞分割的精度.在2015MICCAI腺体分割挑战赛数据集上的实验结果表明,与U-Net等其他模型相比,在增加少量参数的情况下,该模型在F1值、MeanDice和Hausdorff距离评价指标上均具有较大的提升.

基于密集连接网络的航拍绝缘子旋转目标精准定位方法

为了实现架空线路巡检时绝缘子的精准定位和检测,提出了一种基于Dense-Block密集连接块与旋转框改进YOLOv5的绝缘子检测模型。该模型针对绝缘子长宽比较大和方向多变的特点,提出利用长边定义法为检测框增加角度信息,实现目标旋转框检测,有效提升绝缘子检测和定位的效果。同时为了增强特征的重新利用和传播,利用Dense-Block对模型中的残差模块进行改进,构建YOLOv5-dense检测模型。最后为了使YOLOv5-dense模型能够更加关注有效的特征信息,在主干网络尾部加入SimAM注意力模块对模型进行改进。实验之前,利用Retinex算法对输入绝缘子图像进行增强。实验结果表明,相较于原始YOLOv5算法,所提算法在平均准确率和每秒处理帧数方面都有提高。除此之外,与水平框检测算法相比,所提算法去除了检测结果中大量冗余的背景信息,实现了绝缘子区域更加精准的定位。

融合双残差密集与注意力机制的视网膜血管分割

针对视网膜血管末端细小,且容易与背景混淆等现象从而导致细小血管不易分割和断裂等情况,提出了一种融合双残差密集与注意力机制的视网膜血管分割算法。首先,在编码器部分利用双残差密集块与高效通道注意力机制来获取特征;其次,为了解决细小血管分割不足的现象,在编码器与解码器中间使用空洞卷积替换标准卷积来增大感受野;最后,自适应聚合块将之前所有块的特征映射组合起来,形成一个新的特征映射,作为后续层的输入,在自适应聚合块或DDRB之后,将使用卷积层来压缩特征映射,则双残差密集块(从DDRB1到DDRB5)的输出特征映射被完全重用。分别在DRIVE和STARE数据集上进行验证,其ACC分别为96.85%和97.84%,AUC分别为98.61%和99.45%。

基于CNN和Transformer的双路径语音分离

使用深度学习技术进行语音分离已经取得了优异的成果。当前主流的语音分离模型主要基于注意力模块或卷积神经网络,它们通过许多中间状态传递信息,难以对较长的语音序列建模导致分离性能不佳。首先提出了一种端到端的双路径语音分离网络(DPCFNet),该网络通过引入改进的密集连接块,使编码器能提取到丰富的语音特征。然后使用卷积增强Transformer(Conformer)作为分离层的主要组成部分,使语音序列中的元素可以直接交互,不再通过中间状态传递信息。最后将Conformer与双路径结构相结合使得该模型能够有效地进行长语音序列建模。实验结果表明,相比于当前主流的Conv-Tasnet算法及DPTNet算法,所提出的模型在信噪失真比(Signal to noise Distortion Ratio,SDR)和尺度不变信噪失真比(Scale-Invariant Signal to noise Distortion Ratio,SI-SDR)上有明显提高,分离性能更好。

基于双通道三维密集连接网络的脑胶质瘤核磁共振成像分割算法研究

针对脑胶质瘤形状、位置及大小的不一致性,本文提出了一种基于双通道三维密集连接网络的脑胶质瘤核磁共振成像(MRI)自动分割算法。该算法基于三维卷积神经网络,在两个通道采用不同大小卷积核,从而在不同尺度感受野下提取多尺度特征,并构造各自的密集连接块进行特征学习与传递,通过特征结联后输入到分类层进行目标体素分类,最终实现脑胶质瘤的自动分割。为了验证本文算法的实用性,本文采用公开的脑肿瘤分割挑战赛数据集对网络进行训练与验证,并将得到的结果与其他脑胶质瘤分割方法比较。实验结果表明,本文所提出的算法能够更准确地分割出不同的肿瘤病变区域,在临床脑肿瘤疾病诊断中具有一定的应用价值。

基于注意力密集网络的伪彩色红外与可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。

基于面部特征点的人脸图像修复网络

为了获得更好的图像修复效果,建立了一种由人脸特征点预测子网和人脸修复子网组成的人脸面部图像修复深度学习网络。该网络的面部特征点预测子网在MobileNetV2模型基础上引入SE(squeeze-and-excite)结构,实现了对不完整人脸图像的面部特征点预测;修复子网中的生成器采用密集连接块U-Net结构,并新增残差块间的跳跃连接,实现了对提取的图像浅层特征信息的再利用,增强了神经网络结构信息的预测能力。对比实验结果证明,所提人脸图像修复深度学习网络可获得更好的图像修复性能,修复后的图像更接近于真实图像。