用于多器官分割的多尺度聚合网络研究

多器官分割在病理分析、手术方案制定以及临床诊断上都具有重要的应用价值.但是,一些器官形变较大、尺寸较小且组织边缘模糊,导致分割效果较差.为了解决该问题,提出了一种用于多器官分割的多尺度聚合网络(MSANet).MSANet有两个优势:首先,设计了多尺度边界提取模块,使用多尺度卷积核提取多个特征图,将不同尺度的特征图互相结合,从而聚合全局上下文信息,并提取不同器官的边界和细节信息;其次,设计了聚焦式注意力模块,通过学习的注意力权重来调节特征图的重要性,从而聚焦感兴趣的多器官区域并捕捉不同器官的关键特征,进一步提高分割性能.在两个公开数据集CHAOS和MS-CMRSeg上进行了大量实验.实验结果表明:MSANet在两个数据集上的分割效果均优于当前主流的多器官分割方法,显著提高了多器官分割精度.

基于多尺度聚合和共享注意力的注视估计模型

注视估计是从人脸图像中估计3D注视方向的方法,其中与注视直接相关的眼睛细节信息在人脸图像中集中且对注视估计具有显著影响。然而现有的注视估计模型忽略了小尺度的眼睛细节,且容易被图像特征中与注视无关的信息淹没。为此,提出一种基于多尺度聚合和共享注意力的模型以增强特征的表达能力。首先,使用分流自注意力聚合图像中不同尺度的眼睛和人脸信息,并引导模型学习不同尺度对象之间的相关性,以此处理模型对图像中眼睛细节的遗漏问题;其次,通过建立共享注意力来捕获图像之间的共享特征,减少对注视无关特征的关注;最后,结合多尺度聚合和共享注意力,进一步提高注视估计的精度。在公开数据集MPIIFaceGaze、Gaze360、Gaze360_Processed和GAFA-Head上,所提模型的平均角度误差比GazeTR(Gaze TRansformer)降低了5.74%、4.09%、4.82%和10.55%。在Gaze360背对相机的困难图像上,所提模型的平均角度误差比GazeTR降低了4.70%。实验结果表明,所提模型能有效聚合多尺度的注视信息和共享注意力,提高注视估计的准确性和鲁棒性。

基于深层多尺度聚合3D U-Net的肾脏与肾肿瘤分割方法

针对电子计算机断层扫描(CT)图像中肾肿瘤形态复杂多变、肿瘤目标小、肿瘤边缘复杂等问题,提出了深层多尺度聚合3D U-Net网络分割模型。该模型在U-Net++基础上新增了3个下采样操作,利用密集嵌套的3D U-Net和解码器层的跳跃连接以及各层级3D U-Net子网络之间的跳跃连接,促进各个层级和各个尺度的特征信息融合,增强了对细节特征的提取能力,从而提升了对小尺度肾肿瘤和肿瘤边缘的分割精度。实验结果表明:该模型能够准确分割边缘复杂以及尺度较小的肾肿瘤,在KiTS19公开数据集上进行评估,本文模型对肾脏分割的Dise系数为0.968 2,对肿瘤分割的Dise系数为0.790 8,分割性能良好。

基于多尺度聚合通道特征的实时行人检测

行人检测是近年来计算机视觉领域的研究热点,如何有效且快速地检测行人仍是具有挑战性的课题。提出一种基于多尺度聚合通道特征的快速行人检测算法。设计一种能够充分包含图像颜色、梯度信息的聚合通道特征,采用一种快速多尺度特征估计算法计算图像的多尺度聚合通道特征,使用级联Adaboost分类器进行行人检测。实验结果表明,该文算法在标准行人检测库INRIA上测试结果的召回率和准确率与目前最优算法相当,但时间开销很小完全满足实时检测要求。

一种多尺度特征与代价聚合的实时立体匹配算法

针对立体匹配中的运算速度与精度的问题,提出一种多尺度特征与代价聚合的实时立体匹配算法。首先,在特征提取阶段,设计一种基于注意力机制的特征聚合模块对图像对进行特征提取,可有效提取不同尺度的特征;其次,在匹配代价计算阶段,用L1距离度量方式来计算匹配代价,在代价聚合阶段,用尺度内代价聚合和跨尺度代价聚合模块进行代价聚合,以替代用3D卷积对匹配代价卷进行正则化的计算成本;最后,进行视差回归,在视差优化阶段,用空间传播网络进行视差优化。实验结果表明,该算法在保证匹配精度的同时能够有效提升匹配的速度。

基于多尺度特征聚合的图像超分辨率重建

针对图像超分辨率重建过程中,存在提取特征信息单一、图像细节缺失的问题,提出了一种新的生成式对抗网络(DAMFA-GAN),以获得更加逼真和自然的重建图像。在生成器方面,设计融合动态注意力机制的多尺度特征聚合模块(DAMFA)以获取低分辨率图像中每个上采样特征的多尺度高频信息,提高重建图像的质量;在判别器方面,设计ConvTrans Encoder模块以增强特征信息提取能力,提高判别的准确率。在Set5、Set14、BSD100和Urban100数据集上的实验结果表明,DAMFA-GAN在峰值信噪比(PSNR)和结构相似性(SSIM)上较于SRGAN分别平均提高了0.50 dB、0.015 2。同时,超分辨率重建图像的高频细节和视觉效果也得到了明显改善。

多尺度ResNeSt-50聚合网络与置信度传播的息肉图像分割

针对大肠的息肉组织与正常组织间无明显边界,准确定位息肉位置困难的问题,提出了一种多尺度ResNeSt-50聚合网络融合顺序树重加权置信度传播(sequential Tree-Reweighted Message Passing,TRW-S)的息肉图像分割方法。为提高网络对息肉信息的表达能力,构建编码-解码结构的多尺度ResNeSt-50聚合网络,编码器由卷积模块和4级ResNeSt模块级联构建ResNeSt-50骨干网络,实现跨通道信息间的线性整合与连接;ResNeSt-50采用拆分注意力机制加强重要通道组的表现能力,增强了残差模块提取息肉图像信息的能力;解码部分下三层构建多层感受野模块(recep⁃tive field block,RFB)获取多尺度信息,然后用密集聚合模块整合其输出,并以快速解码方式输出解码信息,保证其分割性能的同时减少参数量;其次,生成预测图时采用测试时图像增强(Test-Time Augmentation,TTA)模块提升预测准确度,并增强网络的泛化能力;最后,构建基于马尔科夫随机场的TRW-S算法对输出的预测图进行后处理,以实现分割边缘的连续性和分割区域内部的一致性。对大肠息肉数据集Kvasir-SEG的测试结果表明,本文方法相比于U-Net,UNet++,ResUnet、SFA、PraNet等算法,mDice值达91.6%,mIoU达86.3%,Smeasure达0.921,MAE为0.023,优于其他五种息肉分割算法;在未知数据集ETIS-LaribPolypDB,ColonDB上测试结果表明,相比于PraNet模型,本文模型的mDice值分别提升了14.2%,7.7%;从本文模型在ETIS-LaribPolypDB数据集上的分割表现看,本文算法对微小病变十分敏感;因此,本文算法分割的息肉图像,在分割区域内部的一致性、分割边缘的连续性、轮廓清晰度、捕捉微小病变能力等方面均表现出优良的性能,同时,对未知数据集具有较好的泛化能力。

基于掩码预测和多尺度上下文聚合的人脸图像修复算法

针对现有图像修复算法存在生成不合理的内容和修复后纹理不清晰等问题,在生成对抗网络(Generative Adversarial Network,GAN)的框架下,提出了一种基于掩码预测和多尺度上下文聚合的人脸图像修复算法。算法通过堆叠多层的多尺度上下文聚合模块(Multi-Scale Context Aggregation Module,MSCAM)构造的生成器进行特征提取,MSCAM融合了来自不同感受野的特征,可以捕捉遥远距离的上下文信息和感兴趣的模式进行上下文推理。使用掩码预测的PatchGAN(Mask Prediction-PatchGAN,MP-PatchGAN)判别器,迫使判别器区分真实和生成的Patch的纹理细节。使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接,使图像的上下文信息向更高层分辨率特征图传播。使用对抗损失对判别器训练,使用L 1损失、对抗损失、感知损失和风格损失的加权联合损失函数对生成器进行训练,并在公开数据集CelebA-HQ下进行实验。实验结果表明,所提修复算法在破损比例为20%~30%掩码下的L 1损失为0.0152,峰值信嗓比(Peak Signal to Noise Ratio,PSNR)为28.57,结构相似性(Structural Similarity,SSIM)为0.905,弗雷歇初始距离(Frechet Inception Distance,FID)为4.48,该算法能够有效修复人脸图像且修复结果语义一致性高、纹理细节清晰。

全尺度上下文融合网络用于医学细胞核分割

针对细胞核图像边界模糊、对比度低,且细胞间易发生粘连等特点而导致难以准确分割的问题,本文提出了一种全尺度上下文融合网络用于细胞核的精准分割。首先,该模型结合全局上下文信息,设计了一个高级金字塔传导模块,用于对跳跃连接进行重构,为解码器提供全局信息传导流;其次,在编码器顶部创新性地加入了尺度聚合模块,该模块通过自学习可以动态地为不同尺度的目标选择合适的感受野,更好地融合多尺度上下文信息;同时,为了更好地利用最有用的特征通道,在上采样阶段加入了通道注意力机制;最后,使用改进的混合损失函数解决类不平衡的问题。在Data Science Bowl 2018和TCGA 2个数据集上进行实验,结果表明,所提出的算法能够提高对细胞核的分割性能。

基于点云稀疏空间特征聚合激励的单阶段3D目标检测模型

针对目前基于点云的3D目标检测中单阶段体素法存在感受野固定、特征尺度单一,导致模型对点云特征学习不够充分、模型检测效果存在瓶颈等问题,提出了一种可端对端训练的基于体素的单阶段3D目标检测模型.首先,利用多尺度稀疏空间特征聚合模块,聚合点云在不同稀疏空间尺度上的特征,使特征充分保留点云的空间信息;然后,对特征进行分层激励,通过多尺度感受野对特征进行分层学习,强化特征的表达能力,降低噪声信息对检测结果的影响;最后,将特征输入检测头进行候选框的分类和回归.在公开的自动驾驶数据集KITTI上与主流单阶段3D目标检测模型进行了对比实验,包含对3类目标共9个的难度等级目标的检测.所提模型在其中5个等级中的平均准确率有明显提升,尤其对点云稀疏的目标,表现出较好的检测效果.实验结果表明,所提模型能够充分提取点云空间信息并有效地学习点云多尺度特征.

融合卷积和Transformer的多尺度皮肤病变分割算法

皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积和Transformer的多尺度自动分割网络。采用ResNet34作为基础编码块,利用其金字塔结构建立病灶的多级局部相关性;采用Swin Transformer模块捕获上下文特征的长程依赖关系,考虑到病灶形状多变、大小不一等情况,提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息;采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明,所提模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%,FPS高达83,与其他先进模型相比,本模型参数更少、推理速度更快、精度更高。

基于聚合多尺度特征的图像轮廓增强超分辨率重建算法

为了提高超分辨率重构算法对图像边缘轮廓的修复能力,消除重构图像存在伪影的问题,提出一种基于聚合多尺度特征的图像轮廓增强超分辨重建生成对抗网络。将多尺度卷积与通道注意力机制相结合,使用一次性聚合多尺度特征结构,构建多级残差模块,让生成器网络能自适应地提取特征层中的潜在关键信息,同时完成不同特征层的信息融合。定义高斯滤波卷积核与不同方向的索贝尔卷积核,构建边缘损失函数,该损失函数能加强对图像边缘轮廓信息的修复;结合全变分损失函数,减少低分辨率图像噪声对重构图像的影响,进一步提高图像轮廓信息修复能力。为了提高判别器对不同特征的自适应学习能力,在判别器中使用自适应归一化层,增强网络的收敛能力。在Set5、Set14、BSD100数据集上进行图像重构,经实验结果表明,提出的算法使重构图像的轮廓进一步加强,整体视觉质量更好。同时所提算法与超分辨率生成对抗网络(SRGAN)对比,2倍超分辨重建图像的峰值信噪比平均提高了1.696dB,结构相似性指标平均提高了0.03;4倍超分辨重建图像的峰值信噪比平均提高了1.348dB,结构相似性指标平均提高了0.033。

改进的基于跨尺度代价聚合的立体匹配算法

为了提高室内自动物流装置以及工业抓取设备的准确性与速度,提出一种改进的基于跨尺度代价聚合的立体匹配方法。针对传统的基于跨尺度代价聚合的立体匹配方法在低纹理区域、无纹理区域误匹配较高的问题,对不同下采样层的代价卷使用不同的代价聚合方法,使不同下采样层间的不同聚合方法能够相互融合与抑制。为了解决跨尺度代价聚合框架中采用引导滤波时计算耗时较长的问题,引入了快速引导滤波。在偶数下采样层使用快速引导滤波,在奇数下采样层使用区域树代价聚合,从而使新的算法获得更精确的视差图,且极大地减少了计算耗时。

基于多尺度和跨空间融合的超声乳腺结节分割

针对超声成像分辨率低且存在噪声、结节形态与纹理复杂多变导致超声乳腺结节精确分割较为困难的问题,提出一种融合多尺度特征提取和跨空间特征融合的超声乳腺结节端到端自动分割方法。首先,设计一种多尺度特征提取与融合(MFEF)模块,通过融合4条具有不同感受野的卷积路径使网络具有多尺度的特征提取能力。其次,为对高级语义信息进行多尺度观察和信息筛选,在瓶颈层采用尺度感知与特征聚合(SFA)模块,以增强编码阶段的深层特征提取能力。此外,设计跨空间残差融合(CRF)模块,并将它应用在编、解码器间的跳跃连接上。该模块一方面对不同编码层进行跨空间信息融合,实现不同编码层间的信息互补;另一方面进一步提取编码层信息特征,缓解编解码对等层之间的语义差异,从而更好地补偿解码阶段的信息损失。在公开的超声乳腺结节数据集上的实验结果显示,所提方法的DICE系数可达0.888,同主流的深度学习分割模型UNet、AttUNet、ResUNet++、SKUNet相比,提高了0.033~0.094,对比相同数据集中的改进模型如CF2-Net、ESTAN、FS-UNet、SMU-Net,提高了0.001~0.068。所提方法分割结果图的主观视觉效果与专家给出的金标准最接近,能更加准确地分割出乳腺结节区域。

基于形变卷积和深层聚合网络的水下文物检测

搭载有视觉检测系统的自主水下航行器(AUV)具有水下文物探测功能,对深海考古有着重要意义。水下文物所处环境复杂多变,目标存在破损、堆叠和泥沙掩埋等情况,导致判别特征提取困难,使得AUV视觉检测系统无法可靠、准确地实现水下文物的检测。针对上述问题,提出一种基于可形变深层聚合网络模型的水下文物检测算法。为了充分提取复杂环境下水下文物目标特征信息,设计了具有可形变卷积层的多尺度深层聚合网络。在此基础上,引入SimAM注意力模型进行特征优化,来增强文物目标潜在特征信息并削弱背景干扰。最后,通过不同尺度的特征融合实现水下文物检测。在采集的水下文物数据集上进行大量验证和分析,算法的精确率、召回率和平均精度均值(mAP)分别达到了92.7%、90.5%和92.2%。此外,算法已部署到AUV系统中。在实际深海测试场景中,视觉检测系统的文物检测帧率达到19 fps,可满足实时检测的任务需求。

用于遥感图像变化检测的全尺度特征聚合网络

变化检测(CD)是遥感的一项重要任务,通常面临许多伪变化和较大的尺度变化。目前的方法主要侧重于对差异特征的建模,忽略了从原始图像中提取足够的信息,影响了特征的识别能力,难以稳定地区分出变化区域。针对以上问题,提出了一种全尺度特征聚合网络(FFANet)来更充分地利用原始图像特征,促使生成的特征表示在语义上更丰富、在空间上更准确,从而提高了网络对小目标和目标边缘的检测性能。同时,拓展了深监督来结合多尺度的预测图,以促使不同对象在更合适的尺度上进行检测,从而提升了网络对对象尺度变化的鲁棒性。在CDD数据集上,相比于基线网络,所提方法仅增加了1.01×10~6的参数量,就将F分数提升了0.034。

重庆大学新老校区公共空间的聚合与尺度对比

针对重庆大学新老校区的建设情况,基于它们各自内部公共空间,通过调查与对比发现新老校区在公共空间聚合与尺度方面存在的差异及原因,并剖析其中的主要问题,然后对公共空间的建设提出建议,旨在营造和谐、有序、充满活力的校园公共空间。

基于MSFA-Net的车辆及车道线检测算法

车辆检测与车道线分割是自动驾驶感知系统的重要组成部分,其基本要求是具有高精度和实时性。鉴此提出一种双任务多尺度特征聚合网络(MSFA-Net),该网络由1个特征提取网络和2个检测分支网络构成,实现了车辆和车道线同时检测。首先使用E-ELAN网络构造共享主干特征网络;在车辆检测分支网络设计增强卷积模块(CBS+)进行自下而上的特征融合以提升精度;在车道线检测分支网络使用特征融合模块(FeatFuse)对多分辨率特征进行自适应加权融合,配合空洞卷积语义感知模块(CDBS)使用梯形结构的多空洞值卷积对融合特征进行采样,以提升不连续车道线及其他非线性车道的分割精度。结果表明:在BDD100K数据集上,该文网络MSFA-Net其平均精度均值、召回率、像素准确率分别达到了81.3%、90.1%和80.1%,检测帧率达到了41.6帧/s,能较好适应真实行车环境的需求。

小样本条件下的带钢表面缺陷检测

针对工业场景下带钢表面缺陷样本少、缺陷尺寸大小不一等问题,提出一种适用于小样本条件下的带钢表面缺陷检测网络.首先,算法以YOLOv5s框架为基础,设计一种融合注意力机制的多尺度路径聚合网络作为模型的颈部,增强模型对缺陷目标的多尺度预测能力;其次,提出一种自适应解耦检测结构,缓解小样本情况下分类和定位任务之间的矛盾;最后,提出一种融合Wasserstein距离的边界框回归损失函数,提升模型对小目标缺陷的检测精度.实验表明,在构建的小样本带钢表面缺陷数据集上,本文模型的检测性能优于其他小样本检测模型,更适用于工业环境下的小样本缺陷检测任务.

结合注意引导网络的弱光图像增强算法

弱光图像增强具有挑战性,不仅需要考虑亮度恢复,还需要考虑色彩失真和噪声等复杂问题。简单地调整弱光图像的亮度将不可避免的放大这些伪影。为了解决这些难题,一种带有注意引导分支的端到端弱光增强网络(attention guided low light enhancement network,AGNet)被提出。AGNet由注意引导网络和弱光增强网络两部分组成。注意引导网络被用来学习弱光图像中的照度-注意映射,并将其应用于弱光增强网络,以指导图像亮度增强和去噪任务。弱光增强网络由多尺度卷积和残差块构成,通过特征金字塔结构从多个尺度来提取弱光图像中的细节和纹理特征。此外,网络中还引入了多尺度色彩矫正模块(multi-scale color recalibration module,MCRM),以进一步增强了输出图像的颜色和对比度。实验结果表明,AGNet在主流弱光数据集上(LOL-v1和LOL-v2-synthetic)不仅在客观指标上领先(两个数据集的PSNR提高了2.13/2.52),而且在主观比较上也具有优势。