基于多尺度特征深度神经网络的不同产地山楂细粒度图像识别

中药是中医治疗疾病的主要途径,也是我国中医药事业传承与创新发展的物质基础,其真伪优劣也会直接影响中医临床的疗效,因此研究科学合理且高效的中药材质量检测方法符合当前行业热点.山楂作为中国著名的药食两用类药材,在烹饪和治疗中具有保护心血管、降低血压的作用,被广泛应用;但由于自然环境与栽培条件的不同,不同产地的山楂易被混淆从而对品质产生影响.尽管化学、生物鉴定的方法广泛而重要,但专业门槛高,耗时较长;且传统图像处理方法容易受外在环境因素干扰,可靠性差.因此亟待研究快速准确的方法以实现山楂产地的精准鉴别;受CoAtNet与Swin-Transformer网络启发,本文结合MBConv模块中深度可分离卷积网络对局部信息建模的特点与Swin Transformer模块多层次结构可弥补网络非局部性损失的特性,提出一种多尺度特征的混合神经网络模型,通过获取图像不同层级特征,将获取的形状、颜色与纹理等浅层特征作为先验知识与高层级语义信息进行特征融合,研究了一种快速有效的识别方法以实现对不同产地山楂的有效鉴别;此外,本文提出一种新的局部空间注意力机制,通过形成通道注意力模块联合空间注意力模块的新结构,实现对图像细粒度特征的聚焦与学习.实验结果表明,本文所提出的方法有最高的鉴别准确率为89.306%,优于其他基线模型.实践证明,本文的研究提高中药材鉴别的科技水平,拓宽传统中医药的研究思路.

基于拉普拉斯金字塔残差网络的多尺度图像压缩研究

为了更好地进行图像重建,加强对图像多尺度特征表示和特征融合的处理,本研究提出一种新的多尺度特征融合图像重建网络模型。模型包括迭代降采样和迭代上采样过程。迭代降采样过程是通过在拉普拉斯金字塔残差控制网络模型中将高斯卷积核与子采样和高斯平滑滤波迭代操作规则相结合完成的。迭代上采样过程是通过使用拉普拉斯卷积核和二阶差分操作规则实现的。GJ-UNet深度学习网络模型通过其编码器下采样模块实现图像多尺度语义特征的精细分类,并在解码器上采样模块中应用反卷积和卷积操作规则,规范处理图像多尺度语义特征。实验表明,所提出的方法可以实现高精度的特征提取,同时对于图像特征融合的相关性更强,提取的图像边缘信息更清晰且相对噪声信息更低,重建图像的视觉效果基本与原始输入图像相同。本研究有望广泛应用于计算机图像视觉领域。

融合多重多尺度特征的高分辨率遥感影像建筑物提取网络

针对高分辨率遥感影像因复杂背景信息导致的建筑物边界、角点以及内部信息出现的错分、漏分问题,提出了一种融合多重多尺度目标特征的DPRS-Net深度学习网络。DPRS-Net采用Resnet50与Swin-T(Tiny)的并行编码结构以结合两种编码优势,进而获取特征图的大范围深层信息;利用跳跃连接降低建筑物的边界特征损失;引入特征金字塔注意力模块和密集空洞空间特征金字塔池化模块,使采样过程中的建筑物细节特征损失减弱。为验证模型的优势性、分析性能提升原因,在WHU和自建Changchun3建筑物数据集上进行对比和消融实验。结果表明,DPRS-Net在两种数据集上均取得更高的精度,提取的建筑物信息更为完整,且模型各结构均能有效提升预测效果。

改进特征金字塔网络的小目标检测

由于小目标可视化特征少、难以定位,故许多小目标检测方法基于特征金字塔网络(FPN)进行多尺度融合丰富各特征层的信息。然而,FPN只关注特征局部相关性并且使用逐元素相加操作融合不同的特征层忽略了不同特征层感受野的不同。因此,提出增强上下文特征金字塔网络(ECFPN),设计了上下文信息增强(CIE)模块增强上下文信息,注意力引导特征融合(AGFF)模块融合高层特征图和低层特征图。实验结果表明,ECFPN在VOC2012数据集上的AP 0.5、AP S分别达到75.05%和19.48%,在NWPU VHR-10数据集上的AP 0.5、AP S分别达到93.48%和45%,具有良好的小目标检测性能。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

双路径特征金字塔网络遥感图像建筑物提取方法

虽然近年来卷积神经网络在遥感图像建筑物提取研究中取得了极大的成功,但其仍然面临着多尺度目标识别、分割目标边界模糊和提升类不平衡目标识别精度等问题。为解决以上问题,提出了一种双路径特征金字塔编解码结构,用于遥感图像建筑物提取。以高分辨率网络为编码器、带注意力机制的特征金字塔为解码器,提高相同目标不同尺度识别能力;通过在编码器加入边界网络增强其对目标边界特征学习,从而提高目标边界识别精度;采用交叉熵损失函数与Dice损失函数加权方式来增强不平衡目标提取精度。最后在WHU航空图像和WHU卫星图像Ⅱ上验证提出方法的有效性,交并比分别达到了90.0%和71.1%。

用于小麦多生长阶段倒伏边界精准检测的分层交互特征金字塔网络

[目的/意义]传统的小麦倒伏检测方法需要人工进行田间观测和记录,这种方法存在主观、效率低、劳动强度大等问题,难以满足大规模的小麦倒伏检测的需求。基于深度学习的小麦倒伏检测技术虽已在一定程度上得到应用,但普遍局限于对小麦单一发育阶段的倒伏识别,而倒伏可能发生在小麦生长的各个时期,不同时期倒伏特征变化复杂,这给模型特征捕捉能力带来考验。本研究旨在探索一种基于深度学习技术的多生育期小麦倒伏区域检测方法。[方法]用无人机采集小麦灌浆期、早熟期、晚熟期这三个关键生长阶段的RGB图像,通过数据增强等技术构建出多生育期小麦倒伏数据集。提出一种小麦倒伏提取模型Lodging2Former,该模型在Mask2Former的基础上加以改进,引入分层交互式特征金字塔网络(Hierarchical Interactive Feature Pyramid Network,HI-FPN),用于提高模型在复杂田间背景干扰下对于多个生长阶段小麦倒伏特征的捕捉能力。[结果和讨论]所提出的Lodg⁃ing2Former模型相较于现存的多种主流算法,如Mask R-CNN(Mask Region-Based Convolutional Neural Network)、SOLOv2(Segmenting Objects by Locations,Version 2)以及Mask2Former,在平均精度均值(mean Average Precision,mAP)上展现出显著优势。在阈值分别为0.5、0.75以及0.5~0.95的条件下,模型的mAP值分别达到了79.5%、40.2%和43.4%,相比Mask2Former模型,mAP性能提升了1.3%~4.3%。[结论]提出的HI-FPN网络可以有效利用图像中的上下文语义和细节信息,通过提取丰富的多尺度特征,增强了模型对小麦在不同生长阶段倒伏区域的检测能力,证实了HI-FPN在多生育期小麦倒伏检测中的应用潜力和价值。

基于全局上下文注意力特征融合金字塔网络的遥感目标检测

遥感目标检测往往具有图像尺度变化大、目标微小、密集排列和宽高比过大的特性,给高精度定向目标检测造成困难.本文提出了一种全局上下文注意力特征融合金字塔网络.首先,本文设计了一种三重注意力特征融合模块,它能够更好地融合语义和尺度不一致的特征.然后引入层内调节方法改进并提出了一个全局上下文信息增强网络,对含有高级语义信息的深层特征的进行细化,提升表征能力.在此基础上,以全局集中调节的思想设计了全局上下文注意力特征融合金字塔网络,利用注意力调制特征自上而下地调节浅层多尺度特征.在几个公开数据集中进行了广泛实验,实验结果的高精度评价指标均优于目前先进的模型.

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

基于多尺度特征提取-改进天鹰算法-长短时神经网络的有载分接开关故障诊断方法

为实现有载分接开关(on-load tap changer)在复合故障下的精准故障诊断,提出一种基于多尺度特征提取与改进天鹰算法(improved aquila optimizer,IAO)和长短时记忆神经网络(long short-term memory networks,LSTM)的变压器OLTC故障诊断方法。首先提取OLTC振动信号时域尺度、频域尺度和能量熵尺度特征组成特征向量;通过混合初始化策略和精英解保留策略对天鹰优化算法(aquila optimizer,AO)进行改进,以提高收敛性;利用改进天鹰算法对LSTM的隐含层节点数和学习率进行优化,得到最优LSTM模型;以单一故障和复合故障融合特征向量为输入,以故障状态作为输出,在最优网络模型中训练,完成后进行故障诊断。结果表明,文中所述方法平均准确率达97.2%,适用于OLTC的故障诊断。

基于特征金字塔的多尺度特征融合网络

特征金字塔网络(FPN)是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用.然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响.针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合.本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性.

面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.

基于模糊多尺度特征的遥感图像分割网络

受成像距离、光照、地物特征、环境等因素影响,遥感图像中同一类别物体可能存在一定差异,而不同类别的物体反而显示相似的视觉特征,这导致在分割时存在着不确定性,即类内异质与类间模糊。为了解决此问题,提出一种用于遥感图像分割的模糊多尺度卷积神经网络(FMCNet)。该网络通过提取图像中不同尺度、大小和宽高比的感受野,充分表征遥感物体的细节信息,并利用模糊逻辑有效地表达像素与其相邻像素之间的关系,进而解决遥感图像分割中的不确定性问题。实验结果表明,FMCNet在ISPR Vaihingen和Potsdam数据集上的整体准确率(OA)分别为85.3%和86.3%,优于现有流行的语义分割方法。

用于胸片分类的自校正特征融合金字塔网络

胸部疾病的病灶区域面积差异较大,易受健康部位的影响,难以定位,并且用于诊断疾病的X射线胸片样本数据分布不平衡,导致胸部疾病分类网络的分类准确度较低.针对胸部疾病分类任务中仍然存在的问题和挑战,本文提出了一种自校正特征融合金字塔网络.该网络使用自校正卷积增强疾病部位在特征图上以及通道之间的位置联系,在不引入额外参数量的条件下增大了卷积的感受野,避免无病区域的信息干扰;然后通过特征融合金字塔网络整合多尺度图像特征信息,在获取高分辨率特征图的同时,能够准确地定位病变区域,可以更好地识别不同尺度疾病的特征,在多标签分类任务上具有独特的优势;同时引入频率通道注意力机制强化网络对疾病特征的提取能力,在上采样和特征融合变换之前,减少全局平均池化过程中造成的特征丢失;最后提出一种轮次焦点损失函数区分不同种类胸部疾病的训练程度,根据分类难易程度区分样本,并在不同的训练轮次调整权重,以解决胸部疾病样本分布不平衡问题.在ChestX-ray14数据集上的平均AUC值可达0.853,在CheXpert数据集上的平均AUC值可达0.903,超过了近年来较为先进的网络模型.实验结果表明,该网络与传统的胸部疾病分类网络相比能有效地提高胸部疾病的分类精度,并且具有较强的泛化能力.

多尺度特征融合的改进残差网络乳腺癌病理图像分类

现有模型病理特征提取不充分以及开源数据集各类型数量不平衡等问题,使得乳腺癌病理图像的多分类研究仍具挑战性。本研究提出了一种多尺度特征融合的改进残差网络乳腺癌病理图像多分类方法。首先,以ResNet101残差网络作为基础,将CBAM注意力模块插入到每一个残差块中;接着,为了优化特征提取,将横向和纵向的多尺度特征融合集成到残差网络中;最后,引入焦点损失函数以解决数据分配不平衡问题。经BreakHis公开数据集混合放大倍数1582张病理图像训练验证,所提出的改进残差网络在乳腺癌病理图像八分类上的识别准确率为94.4%,较原始模型提升2.8%,优于大多数已有公开深度学习模型。该模型的提出为女性乳腺癌的筛查诊断和病理分类提供了更为有效的方法。

全国—本地尺度下东北三省城市创新网络演化特征与创新能力研究

在网络科学不断发展,创新过程存在跨区域、多尺度、动态性特点的背景下,创新网络及其演化已成为创新经济地理学关注的重点领域。本文将2004-2018年城市间合作专利信息作为原始数据,来表征东北三省城市创新网络,借助Gephi、Ucinet等分析工具,运用复杂网络等研究方法,基于全国—本地尺度分析其格局和结构的演化特征,测度城市创新网络资本,评价城市创新能力,进而对二者关系进行探讨。结果表明:全国—本地尺度下的东北三省城市创新网络的演化特征存在一定的相似性,以“哈长沈大”为网络核心的格局逐渐清晰,网络成长性明显但创新合作的紧密程度和效率均不可观。全国—本地尺度下东北三省城市创新网络演化特征同样存在差异性,全国尺度的网络增速小于本地尺度且存在“小世界”特性,创新资源的跨区域流动不畅通。东北三省城市创新网络资本与城市创新能力水平相关性增强,城市创新能力格局与城市网络地位分布较为一致,城市位于网络的地位以及获取异质性知识与技术的能力更为重要。

基于残差网络多尺度特征融合的滚动轴承故障诊断

针对传统故障诊断方法在面临复杂工况时出现的特征提取不足、分类器选取困难、诊断精度不高等问题,提出了一种基于残差神经元网络多尺度特征融合的滚动轴承故障诊断模型并用于电机轴承的故障诊断。首先,采用小波变换将轴承振动信号转换为二维时频图作为输入数据集;然后,在残差网络中构建多尺度特征融合模块,提取故障样本不同尺度下的特征;最后,将轴承数据集输入到网络中,实现特征提取及故障诊断。实验结果表明,基于残差网络多尺度特征融合的故障诊断模型可以有效提取信号特征,提高了故障诊断的准确性。

基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法

针对目标检测中分类和定位子任务分别需要大感受野和高分辨率,难以在这两个相互矛盾的需求间取得平衡的问题,提出一种用于目标检测的基于注意力机制的特征金字塔网络算法。该算法能整合多个不同感受野来获取更丰富的语义信息,以一种更关注不同特征图重要性的方式融合多尺度特征图,并在注意力机制引导下进一步精练复杂融合后的特征图。首先,通过多尺度的空洞卷积获取多尺度感受野,在保留分辨率的同时增强语义信息;其次,通过多级特征融合(MLF)方式将多个不同尺度的特征图通过上采样或池化操作变为相同分辨率后融合;最后,利用注意力引导的特征精练模块(AFRM)对融合后的特征图作精练处理,丰富语义信息并消除融合带来的混叠效应。将所提特征金字塔替换Faster R-CNN中的特征金字塔网络(FPN)后在MS COCO 2017数据集上进行实验,结果表明当骨干网络为深度50和101的残差网络(ResNet)时,平均精度(AP)分别达到了39.2%和41.0%,与使用原FPN的Faster R-CNN相比,分别提高了1.4和1.0个百分点。可见,所提特征金字塔网络算法能替代原FPN,更好地应用在目标检测场景中。

基于多尺度学习、特征映射网络的图像超分辨率重建研究

图像超分辨率的重建技术,是针对传统卷积神经网络重建(SRCNI)方法,存在的像素特征利用率低、高频细节恢复能力弱等问题,提出利用多尺度卷积核、特征映射网络,进行多图像像素递归学习、特征映射的重建执行方法。通过搜集低分辨率(LR)图像数据集、图像像素特征,基于SR图像超分辨率重建技术,使用1×1、3×3等尺度的卷积核,作出图像像素数据的降维处理、浅层特征提取、特征映射、特征信息融合等操作,并结合递归学习后的局部残差、全局残差特征反馈结果,将多尺度的低分辨率(LR)像素特征,映射到高分辨率(HR)像素特征空间,可得到特征融合后的、重建的超分辨率图像。

融合残差网络和特征金字塔的小尺度行人检测方法

针对小尺度行人检测中存在的过拟合、特征不易对齐,以及易忽略多尺度特征等问题,研究了1种融合残差网络和特征金字塔的小尺度行人检测方法。考虑到原始残差网络在检测小尺度行人时过于依赖训练集而出现过拟合问题,构建带有丢弃层的残差块代替残差网络结构中的标准残差块来解决这一局限,同时利用丢弃层的正则作用降低计算过程的复杂程度。通过在特征金字塔网络的侧向连接部分嵌入特征选择模块和特征对齐模块,对输入图像中重要的行人特征加强和对齐,提升算法对行人的多尺度特征学习能力,弥补特征金字塔网络出现特征不易对齐和易忽略多尺度特征的缺陷,提高小尺度行人的检测精度。在Caltech Pedestrian数据集上对模型进行训练、测试和验证,实验结果表明:小尺度行人检测精度为73.6%,AP50检测精度为95.6%。在同为50层残差网络和特征金字塔网络下,改进后的模型可以使AP值提高17.2%,AP50提高7.8%,小尺度行人检测精度提高了21.6%;在同为101层残差网络和特征金字塔网络下,可以使AP值提高24.5%,AP50提高8.2%,小尺度行人检测精度提高32.3%。同时与RefindDet512、GHM800算法相比,AP值分别提高20.8%和17.7%,AP50分别提高5.5%和3.6%,小尺度行人检测精度分别提高26.8%和20.6%,由此证明提出的模型性能优于经典检测算法,可以有效地提高小尺度行人检测精度。