基于多尺度上下文特征学习的胆管及胆结石图像分割

肝胆管结石病是外科的常见病、多发病,实现对CT序列图像中的胆管及胆结石的自动化精准分割具有重要的意义。本文提出一种基于改进卷积神经网络的医学图像分割网络,充分考虑了CT切片间的上下文信息。网络由两对编码器-解码器组构成,包含多尺度上下文特征提取和多尺度特征融合等过程。多尺度卷积可以捕捉胆管及结石的局部细节信息和全局位置信息;ConvLSTM引入相邻切片间的上下文信息以提升分割精度。实验结果表明,该算法在胆管及胆结石的分割任务上具有较好的性能。

深层特征引导的多尺度上下文聚合图像变化检测网络

多尺度融合方法在图像变化检测领域中得到广泛研究,但由于不同尺度的特征之间存在不平衡,直接进行特征融合无法精确地检测目标变化,特别是在复杂场景下目标变化的检测仍然存在漏检和误检的问题。本研究提出一种深层特征引导的多尺度上下文聚合网络(DF-MCANet)进行变化检测任务,通过深层特征引导不同阶段的特征融合,提高网络对于不同尺度目标的理解能力。该网络包含特征融合模块(FFM)和特征矫正模块(FCM)两个关键模块,FFM结合上下文特征进行变化信息的提取和增强,FCM利用深层语义特征引导FFM提取各阶段特征,进行语义、细节以及上下文表示的融合。实验结果表明,DF-MCANet相较于目前最优的模型A2Net,F 1指标在CDD数据集提高0.73%,在DSIFN数据集上提高1.43%。

顾及多尺度特征及全局上下文的建筑提取方法

针对语义分割提取建筑物时,在特征提取过程中丢失局部细节信息,对全局上下文信息的感知能力及多尺度特征的提取不足,导致小建筑物漏提、建筑物提取不完整及内部孔洞的问题,提出了顾及多尺度特征及全局上文信息的建筑物提取方法。该方法采用编码-解码结构,利用并行的连续空洞卷积提取多尺度特征,并行使用压缩激励模块(SE)和条带池化模块(SPM)从通道和空间维度捕获全局上下文信息,提高网络对小建筑物的识别能力及提取结果的完整性,并减少内部孔洞。通过在WHU建筑数据集和Inria航空数据集上与常见的语义分割网络进行的对比实验表明,该方法在提高建筑物提取准确率的同时,较好地解决了小建筑物漏提、建筑物提取不完整及内部孔洞等问题。

基于多尺度上下文的英文作文自动评分研究

目前作文自动评分模型缺乏对不同尺度上下文语义特征的提取,未能从句子级别计算与作文主题关联程度的特征。提出基于多尺度上下文的英文作文自动评分研究方法MSC。采用XLNet英文预训练模型提取原始作文文本单词嵌入和句嵌入,避免在处理长序列文本时无法准确捕捉到符合上下文语境的向量嵌入,提升动态向量语义表征质量,解决一词多义问题,并通过一维卷积模块提取不同尺度的短语级别嵌入。多尺度上下文网络通过结合内置自注意力简单循环单元和全局注意力机制,分别捕捉单词、短语和句子级别的作文高维潜在上下文语义关联关系,利用句向量与作文主题计算语义相似度提取篇章主题层次特征,将所有特征输入融合层通过线性层得到自动评分结果。在公开的标准英文作文评分数据集ASAP上的实验结果表明,MSC模型平均二次加权的Kappa值达到了80.5%,且在多个子集上取得了最佳效果,优于实验对比的深度学习自动评分模型,证明了MSC在英文作文自动评分任务上的有效性。

基于光流与多尺度上下文的图像序列运动遮挡检测

针对非刚性运动和大位移场景下运动遮挡检测的准确性与鲁棒性问题,提出一种基于光流与多尺度上下文的图像序列运动遮挡检测方法.首先,设计基于扩张卷积的多尺度上下文信息聚合网络,通过图像序列多尺度上下文信息获取更大范围的图像特征;然后,采用特征金字塔构建基于多尺度上下文与光流的端到端运动遮挡检测网络模型,利用光流优化非刚性运动和大位移区域的运动检测遮挡信息;最后,构造基于运动边缘的网络模型训练损失函数,获取准确的运动遮挡边界.分别采用MPI-Sintel和KITTI测试数据集对所提方法与现有的代表性方法进行实验对比与分析.实验结果表明,所提方法能够有效提高运动遮挡检测的准确性和鲁棒性,尤其在非刚性运动和大位移等困难场景下具有更好的遮挡检测鲁棒性.

基于多尺度特征融合重建学习的深度伪造人脸检测算法

随着深度伪造技术的快速发展,针对深度伪造人脸的检测已经成为计算机视觉领域的研究热点。虽然现有的基于噪声、局部纹理或频率特征的检测方法能够在特定场景中表现出良好的检测效果,但这些方法缺乏对人脸细粒度表征特征的深入挖掘,限制了其泛化能力。为了解决上述问题,文章提出了一种新型的基于多尺度特征融合重建的分类网络模型MSFFR,该网络模型从重建学习的角度学习挖掘人脸细粒度内容和梯度表征特征信息,并采用多尺度特征融合的方式实现伪造人脸的检测,通过融合这两种信息来识别伪造面孔。文章提出的模型包含3个创新模块,设计了双分支特征提取模块,用于揭示真实人脸与伪造人脸之间的分布差异;提出了细粒度内容和梯度特征融合模块,用于探索挖掘人脸细粒度内容特征与梯度特征之间的相关性;引入了基于重建视差的双向注意力模块,有效地指导模型对融合后的特征进行分类。在大规模基准数据集上进行的广泛实验表明,与现有技术相比,文章提出的方法在检测性能方面具有显著提高,尤其是在泛化能力方面表现出色。

特征对齐与上下文引导的多视图三维重建

针对三维重建对细小特征及边缘区域重建欠佳的问题,提出了一个基于特征对齐与上下文引导的多视图三维重建网络,即AGA-MVSNet。首先,构建了一个特征对齐模块(FA)与特征选择模块(FS),能够将特征金字塔不同层级的特征先对齐之后再进行融合,提高对小尺寸物体和边缘区域的特征提取能力;然后,在代价体正则化中加入了一个上下文引导模块,该模块能够在略微增加运行内存的情况下充分利用周围信息,增强成本体积之间的相关性,提高三维重建的精度与完整度;最后,在DTU数据集上进行了实验,实验结果表明,该方法相比于基准网络CasMVSNet精度提升了2.2%,整体重建质量提升了2.5%。此外,在Tanks and Temples数据集上的表现相较一些已知的方法也十分优异,且在BlendedMVS数据集上也生成了不错的点云效果。

结合多尺度特征与混淆学习的跨模态行人重识别

跨模态行人重识别研究的重难点主要来自于行人图像之间巨大的模态差异和模态内差异。针对这些问题,提出一种结合多尺度特征与混淆学习的网络结构。为实现高效的特征提取、缩小模态内差异,将网络设计为多尺度特征互补的形式,分别学习行人的局部细化特征与全局粗糙特征,从细粒度和粗粒度两方面来增强网络的特征表达能力。利用混淆学习策略,模糊网络的模态识别反馈,挖掘稳定且有效的模态无关属性应对模态差异,来提高特征对模态变化的鲁棒性。在大规模数据集SYSU-MM01的全搜索模式下该算法首位击中率和平均精度(mean average precision,mAP)的结果分别为76.69%和72.45%,在RegDB数据集的可见光到红外模式下该算法首位击中率和mAP的结果分别为94.62%和94.60%,优于现有的主要方法,验证了所提方法的有效性。

基于分层特征提取和多尺度特征融合的高分辨率遥感影像水体提取深度学习算法

高精度的水体提取有助于水资源监测和管理。目前基于遥感影像的水体提取方法缺乏对于边界质量的重视,造成边界划分不准确,细节保留度低的问题。为了提升遥感影像水体提取的边界与细节的精度,提出了一种基于多尺度特征融合的高分辨率遥感影像水体提取深度学习算法,包括分层特征提取模块与融合多尺度特征的堆叠连接解码器模块。分层特征提取模块中,引入了通道注意力结构,用于整合高分辨率遥感影像中水体的形状、纹理和色调信息,以便更好地理解水体的形状和边界。在融合多尺度特征的堆叠连接解码器模块中,进行了多层次语义信息的堆叠连接,并加强了特征提取,同时捕捉了广泛的背景信息和细微的细节信息,以实现更好的水体提取效果。在自行标注的数据集与公开数据集上的试验结果表明,模型的准确率达到了98.37%和91.23%,与现有的语义分割模型相比,提取的水体边缘更加完整,同时保留细节的能力更强。提出的模型提升了水体提取的精度和泛化能力,为高分辨率遥感影像水体提取提供了参考。

基于多尺度特征和元学习的图像识别算法研究

在计算机视觉与图像识别技术中,随着输入分辨率的变化,卷积神经网络方法的识别效果也不同。多尺度特征学习可以将图像的精度和细节结合在一起,结合图像的多个尺度信息进行分析。元学习让计算机模拟人的大脑,学习如何去学习,可以更高效灵活地实现图像分类。因此,结合多尺度特征和元学习进行图像识别算法研究具有较高的研究价值。通过膨胀卷积产生了不同分辨率的输入图像;使用元学习产生不同输入分辨率下神经网络的卷积权重;对于不同输入分辨率的模型使用知识蒸馏。

多尺度特征融合对比学习结合PointMetaBase的点云分割

点云场景边界的精确分割对提升三维点云整体分割精度和小目标的分割精度都非常重要。针对现有三维点云语义分割算法中存在的对点云场景边界分割不准确的问题,设计了一种新的多尺度特征融合对比学习方法,并将其集成到PointMetaBase网络上,提出了MFFCL-PMB三维点云语义分割网络。该网络将解码器各层的输入和输出平行多路径地输入多尺度特征提取网络,其次将多尺度特征进行拼接融合,最后由边界搜索模块确定点云场景边界点,在边界点对应的多尺度融合特征上进行对比学习,使网络学习到使特征区分度更大的权重。MFFCL-PMB在数据集S3DIS的测试集区域5上的mIoU为70.9%,相比原始的PointMetaBase,在边界上的mIoU增加了1.4%,内部区域mIoU增加了1.2%,总体mIoU增加了1.2%,边界mIoU增量比内部区域增加的mIoU更大,说明MFFCL-PMB有效增强了PointMetaBase在边界上的分割表现并提高了网络在点云总体上的语义分割性能。

基于多尺度特征和注意力机制的深度学习点云压缩

三维点云广泛应用于无人驾驶、实景三维等领域,然而复杂场景的海量点云对存储、处理和传输等带来极大挑战。提出一种基于多尺度特征和注意力机制的深度变分自编码点云几何信息压缩算法MSA-GPCC,通过加入多尺度模型提取特征、变分自编码器构建熵模型,继而结合尺度注意力模块和多尺度特征,实现基于熵编码的点云几何信息高码率、低失真压缩。在MPEG数据集上进行的实验表明,相比G-PCC算法和基于深度学习的D-PCC算法,MSA-GPCC算法在点间等比特率下平均质量增益分别提升7.72和4.91 dB,点到面等比特率下平均质量增益分别提升5.56和3.09 dB。

基于多尺度特征融合与多任务学习框架的非侵入式负荷监测方法

随着建筑物能源消耗的不断升高,高精度与高泛化能力的非侵入式负荷监测技术的研究具有重大意义。针对当前负荷分解方法存在的问题,提出了一种基于多尺度特征融合与多任务学习框架的非侵入式负荷监测方法。将实例-批归一化网络与U形网络结合,提取总负荷数据的上下文信息,并利用跨越连接实现对不同尺度的细节特征与全局特征的融合。针对多特征特点,引入高效通道注意力网络,使模型聚焦重要特征。引入多任务学习框架与后处理操作,去除输出的假阳性片段,实现对目标电器的精准识别。将所提模型与几种代表性模型在UK-DALE(UK domestic appliance-level electricity)数据集与REDD(reference energy disaggregation data set)上进行对比实验,结果表明,所提模型的性能优于对比模型,具有出色的负荷分解能力与状态识别能力。

基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法

针对目标检测中分类和定位子任务分别需要大感受野和高分辨率,难以在这两个相互矛盾的需求间取得平衡的问题,提出一种用于目标检测的基于注意力机制的特征金字塔网络算法。该算法能整合多个不同感受野来获取更丰富的语义信息,以一种更关注不同特征图重要性的方式融合多尺度特征图,并在注意力机制引导下进一步精练复杂融合后的特征图。首先,通过多尺度的空洞卷积获取多尺度感受野,在保留分辨率的同时增强语义信息;其次,通过多级特征融合(MLF)方式将多个不同尺度的特征图通过上采样或池化操作变为相同分辨率后融合;最后,利用注意力引导的特征精练模块(AFRM)对融合后的特征图作精练处理,丰富语义信息并消除融合带来的混叠效应。将所提特征金字塔替换Faster R-CNN中的特征金字塔网络(FPN)后在MS COCO 2017数据集上进行实验,结果表明当骨干网络为深度50和101的残差网络(ResNet)时,平均精度(AP)分别达到了39.2%和41.0%,与使用原FPN的Faster R-CNN相比,分别提高了1.4和1.0个百分点。可见,所提特征金字塔网络算法能替代原FPN,更好地应用在目标检测场景中。

基于多尺度特征深度学习的人脸表情识别算法

通过面部表情来识别情绪已经广泛应用于日常生活中。在深度学习算法中,卷积神经网络(CNN)在面部表情识别领域取得了巨大成功,但仍旧面临信息冗余和数据偏差的问题,影响着面部表情识别算法性能。因此提出了一种基于从面部图像中提取的地标图的多尺度图卷积网络(GCN)。在CK+、JAFFE、FER2013、RAF-DB数据集上对所提出方法进行了仿真。结果表明,所提方法优于AUDN、BDBN、SCNN等传统的深度学习框架,在不同数据集上准确率更高。

基于多尺度学习、特征映射网络的图像超分辨率重建研究

图像超分辨率的重建技术,是针对传统卷积神经网络重建(SRCNI)方法,存在的像素特征利用率低、高频细节恢复能力弱等问题,提出利用多尺度卷积核、特征映射网络,进行多图像像素递归学习、特征映射的重建执行方法。通过搜集低分辨率(LR)图像数据集、图像像素特征,基于SR图像超分辨率重建技术,使用1×1、3×3等尺度的卷积核,作出图像像素数据的降维处理、浅层特征提取、特征映射、特征信息融合等操作,并结合递归学习后的局部残差、全局残差特征反馈结果,将多尺度的低分辨率(LR)像素特征,映射到高分辨率(HR)像素特征空间,可得到特征融合后的、重建的超分辨率图像。

基于上下文信息增强与特征细化的绝缘子破损检测方法

快速准确地检测出绝缘子缺陷是电网维护的重要任务,也极具挑战性。针对目前主流绝缘子缺陷检测算法检测速度慢且模型复杂度较高的问题,提出一种基于上下文信息增强与特征细化的绝缘子破损检测方法。该方法采用轻量化的ECA-Ghost Net作为骨干网络,骨干网络输出端嵌入轻量化的自适应上下文信息增强模块,为绝缘子破损缺陷注入多尺度上下文信息;然后在特征金字塔输出端引入快速且高效的特征细化模块,用于增强绝缘子破损缺陷特征。在该文构建的数据集上进行了多组对比实验,结果表明该文提出的方法均值平均精度可达约97.05%,检测速度约为63帧/s,模型计算量和参数量分别为1.46 G和1.68 M,各项性能指标均优于Retina Net、YOLOv4和YOLOF等主流算法。该文研究结果可为无人机嵌入式应用提供参考。

融合多尺度特征和注意力机制的超声甲状腺结节分割

针对目前超声影像下甲状腺结节分割不够精准的问题,提出一种融合多尺度特征和注意力机制的超声甲状腺结节分割方法。该模型编码设计了多感受野通道选择模块,通过核心选择注意力对多个不同感受野的特征进行自适应加权组合,使包含目标的感受野通道占据主导。同时,设计自适应全局上下文模块自适应地提取瓶颈层多个尺度的全局上下文特征,以实现对瓶颈层高级语义的有效编码。此外,设计双注意力引导模块增强编解码器对等层之间的特征融合,以减少上采样过程中的信息损失。在公开的超声甲状腺结节数据集上进行实验,结果表明,文中所提方法优于其他对比网络,能更加精准地分割出甲状腺结节,有效提升了甲状腺结节的分割性能。

融合编码器多尺度特征的RGB-D图像语义分割

针对语义分割任务中,室内场景中目标物体尺寸变化较大的问题,在ACFNet的基础上,提出融合编码器多尺度特征的RGB-D语义分割网络。首先,为有效利用网络提取的多尺度特征,提出结合池化操作的多尺度特征融合模块(PMFM),选择编码器不同阶段RGB和深度特征的融合特征作为该模块的输入;其次,设计改进的跳跃连接模块(ISCM),使用下一层级包含更多语义信息的特征图辅助修正当前层级的特征图,再经跳跃连接以拼接的方式传输到解码器对应阶段。将提出的网络模型应用到NYUD V2和SUN RGB-D数据集上,平均交并比分别达到了52.6%和48.8%。通过这两项改进,实验结果表明,上述方法达到了较高的分割准确率,优于对比的语义分割方法。

基于尺度特征融合的极低比特率三维复杂图像无损压缩

由于三维复杂图像具有高维度和大规模的特点,且极低比特率下容易导致细节丢失和失真增强,使得三维复杂图像的编码较为复杂。因此,提出基于尺度特征融合的极低比特率三维复杂图像无损压缩方法。利用各向异性扩散与垂直扩散处理三维复杂图像,增强图像边缘信息。采用四叉树算法,建立自适应分块机制,按照图像细节复杂程度划分多个图像块。构建残差网络、反卷积网络结构的残差变换模块,融合图像多尺度特征,输出压缩图像。引入高分辨率累加器和计数器,实现压缩图像无损编码,实现完整的三维复杂图像无损压缩。实验结果表明:应用基于尺度特征融合的新型无损压缩方法后,图像压缩重构结果的信息熵达到了30,实现了压缩图像质量的提升。