引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。

基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

针对小目标水漂垃圾形态多变、分辨率低且信息有限,导致检测效果不理想的问题,提出一种改进的Faster-RCNN(Faster Regions with Convolutional Neural Network)水漂垃圾检测算法MP-Faster-RCNN(Faster-RCNN with Multi-scale feature and Polarized self-attention)。首先,建立黄河兰州段小目标水漂垃圾数据集,将空洞卷积结合ResNet-50代替原来的VGG-16(Visual Geometry Group 16)作为主干特征提取网络,扩大感受野以提取更多小目标特征;其次,在区域生成网络(RPN)利用多尺度特征,设置3×3和1×1的两层卷积,补偿单一滑动窗口造成的特征丢失;最后,在RPN前加入极化自注意力,进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系,生成具有全局特征的特征图,实现更精确的目标框定位。实验结果表明,MP-Faster-RCNN能有效提高水漂垃圾检测精度,与原始Faster-RCNN相比,平均精度均值(mAP)提高了6.37个百分点,模型大小从521 MB降到了108 MB,且在同一训练批次下收敛更快。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

利用图像平滑结构信息指导图像修复

利用图像结构特征进行图像修复,是近年来在深度学习技术广泛应用背景下出现的新方法。应用该方法可以在缺失区域内生成合理的内容,但图像修复结果过于依赖图像结构的提取内容,且在实际训练中会出现错误的持续传播和累积,一旦图像结构存在噪声或失真会直接影响到图像的生成质量。该方法处在探索应用阶段,尚存在网络训练难度大、鲁棒性较差、生成图像上下文语义不一致等问题。为此,本文提出了一种图像平滑结构指导修复的并行网络结构。图像平滑结构的生成内容不直接作为下一级网络的输入,只为网络的解码层提供指导信息。同时,为了更好地匹配和均衡结构与图像之间的特征关系,本文结合transformer提出了一种多尺度特征指导模块。该模块利用transformer联系全局特征的强大建模能力,对结构和图像纹理之间的特征进行匹配和均衡。实验结果表明,本文方法在三个常用的数据集上能够有效地恢复图像缺损内容,并且可以作为图像编辑工具实现目标移除。

基于NSCT域滚动引导滤波与自适应PCNN的医学图像融合

针对传统CT和MRI医学图像融合后存在边缘轮廓模糊、纹理细节丢失等问题,提出基于NSCT域结合相位一致性滚动引导滤波与改进参数自适应双通道PCNN的图像融合方法。首先,采用相位一致性滚动引导滤波对CT源图像进行增强,提高骨骼轮廓结构清晰度。然后,通过NSCT变换分解增强后的CT和MRI源图像得到低频子带和高频子带。低频子带系数采用改进参数自适应双通道脉冲耦合神经网络融合策略,明显改善了软组织的纹理细节模糊效果;高频子带系数采用加权求和修正拉普拉算法融合,提升了融合后图像的细节、纹理等信息。最后,通过逆NSCT变换重构出融合图像。通过五组对比实验表明,所提方法的AG、CC、SF、MSE以及CEN客观评价指标分别平均提高了13.30%、6.71%、4.40%、40.23%、19.16%,说明该融合方法在处理纹理细节、边缘轮廓、结构相似性以及图像像素方面性能更好。

基于MSPCNN与FCM的红外与可见光图像融合

针对红外和可见光图像融合存在的轮廓信息不全、边缘及纹理细节信息缺失等问题,提出一种改进简化脉冲耦合神经网络(Improved Simplified Pulse Coupled Neural Network, MSPCNN)和模糊C-均值(Fuzzy C-mean, FCM)图像融合算法。首先,将红外和可见光图像用非下采样剪切波算法(NonSubsampled Shearlet Transform,NSST)分解为高低频子带;然后对分解后的高频子带采用MSPCNN融合,用一种高斯分布权重矩阵进行处理,增强细节信息和对比度;接着,将得到的低频子带图像使用FCM聚类算法进行聚类中心提取,设置聚类中心近似阈值简化过程,实现背景分类提取;最后利NSST进行逆变换,从而完成红外和可见光的图像融合过程。通过客观评价指标计算,本文所提方法在平均梯度、标准差、平均相似度等参考指标上相对于其他同类型算法均有改善提高,由于模型参数的简化,算法运行速度相对于其他算法得到提升,算法更适用于复杂场景。

基于改进Unet与动态阈值可变FCMSPCNN的医学图像分割

针对深度学习的医学图像分割模型训练时间长和精度不精的问题,提出结合动态阈值可变FCMSPCNN的多尺度上下文编解码结构和注意力机制的CoA Unet(Context Attention Unet)分割方法。首先,使用动态阈值可变的FCMSPCNN预分割出目标矩形区域并使用掩码遮盖背景部分;然后,更深层卷积块加入快捷连接交叉融合不同层次的特征,并通过注意力门突出对目标特征的学习;最后,在编解码器最底层加入改进的多尺度上下文提取器可以更好地提取目标特征信息。模型分别在LiTs和DRIVE数据集上进行验证,肝脏分割指标Miou、Aver_HD、Aver_Dice分别为0.8905、6.3699、0.9477,视网膜血管分割指标分别为0.5892、9.2559、0.7409。实验表明,预处理能缩短4.3%~20.33%的训练时间并提升2%~6%分割精度,与其他5种分割方法相比,CoA Unet能取得更好的整体分割性能。

图像融合技术研究

用小波进行图像融合的原理就是将两个原始的图像的小波分解进行融合,这种融合的方法适用于近似系数和详细系数。这两个图像必须同等尺寸且在共有的图像映射上和索引的图像进行关联。

基于NSST的改进双通道PCNN多聚焦RGB图像融合

针对光学成像设备景深有限、图像部分失焦的问题,提出一种基于非下剪切波变换(NSST)的改进双通道脉冲神经耦合网络(PCNN)融合算法。首先,该算法采用Lab颜色空间分割RGB图像的亮度分量和色度分量间的关联性得到亮度和色度通道子图;然后,亮度通道子图使用NSST重构,色度通道子图使用能量匹配融合;针对融合时阈值设置和点火量化产生的误差,提出改进双通道PCNN模型融合,并结合对比敏感度函数(CSF)自适应设定PCNN参数;最后,亮度和色度重构图通过逆Lab得到最终融合图。实验结果证实,该算法可有效减小失真,抑制伪影并保留边缘轮廓信息,提升全场景清晰度。

并联提取与特征融合注意力网络下的裂缝检测

针对裂缝检测现有方法精度低、噪声多和细节丢失等问题,设计了一种基于并行提取和注意力融合网络的裂缝检测算法。首先,利用不同深度的多尺度卷积并联神经网络提取裂缝场景的高、低级特征;然后,为了提高检测精度,针对裂缝场景的特征,结合像素注意力机制对裂缝场景的高、低级特征进行有效融合,得到用于裂缝检测的有效融合特征;最后,利用非线性映射进行裂缝检测结果输出。实验结果表明,所提算法能够获得高精度检测结果的有效特征,裂缝检测结果细节更加清晰,且有监督学习方式在很大程度上消除了检测结果的噪声干扰,得到了视觉效果更佳的检测结果;所提算法在精确率和召回率等定量指标评价中同样具有良好的表现,裂缝检测精确率达到85%。

智能定义无线电技术体系及其设计方法

在软件无线电的基本架构的基础上,提出了一种新的以深度神经网络为核心的无线通信架构的设计方法及其应用,并提出了智能和智能定义无线电(intelligent and intelligent defined radio,IR/IDR)的概念.基于系统级整体优化的思想,IR/IDR采用多种不同的深度神经网络(deep neural network,DNN)替代传统软件无线电的各个功能模块,使无线通信系统成为一个可端到端优化的整体.而DNN良好的融合特性,还使得基于新方法的系统在不增加额外成本的前提下方便地扩展后续功能.更重要的是,通过将多个基于新方法的无线信号发射或接收端的DNN融合后,还可以对整个无线通信网络系统在更广义的角度上进行管理和优化.IR/IDR是一种新的理论和应用模式,它将通信问题演变为计算和数据,代表了未来无线通信发展的方向.

工程教育专业认证背景下融合“雨课堂”和“虚拟仿真”的课程教学改革

随着对通信技术人才需求的不断增加,如何培养具有扎实理论功底和创新能力的通信技术人才一直是专业教育十分重视的问题。为了顺应新的教育形势,提出了工程教育专业认证背景下融合“雨课堂”和“虚拟仿真技术”的“信息论与编码”课程的混合式教学模式。它以工程教育三大核心理念为导向,以能力培养为主线,加强实践环节;以教学内容优化、教学方法改革和考核方法改革三个方面作为抓手进行改革,取得了很好的教学效果。

空洞卷积并行注意力机制和纹理对比度增强的红外与可见光图像融合

在机器视觉中,视频监控的红外与可见光图像融合可以帮助机器更有效地识别目标和环境.针对现有视频监控的红外和可见光图像算法中存在人物细节提取不充分、目标物体轮廓模糊等问题,提出空洞卷积并行注意力机制和纹理对比度增强的红外与可见光图像融合.首先,融合网络采用多尺度密集连接和空洞卷积并行注意力机制构建局部-全局并行网络提取图像中的梯度信息和强度信息;然后,利用Scharr滤波器和深度可分离卷积构建纹理对比度增强网络,增强融合特征的对比度和纹理细节;最后,利用一种信息交换流网络设计分解网络,由于分解图像的质量直接取决于融合结果,分解过程可以使融合图像包含更多的场景信息.通过与其他8种具有代表性的图像融合方法对比,所提出方法的7项客观评价指标有5%~62%的提升,表明所提出方法不仅能够充分提取源图像信息,获得纹理细节更清晰、对比度更好的融合结果,而且可以有效解决因源图像分辨率差异大而阻碍的多光谱遥感分析、军事侦察等实际应用.

基于NSST域混合滤波与改进边缘检测PCNN的医学图像融合

针对传统医学图像融合中存在细节模糊、能量保存不完整、运行时间长等问题,提出一种基于非下采样剪切波(non-subsampled shearlet transform, NSST)域混合滤波与改进边缘检测脉冲耦合神经网络(pulse coupled neural network, PCNN)的医学图像融合方法。首先,利用YUV模型进行颜色空间转换分离出亮度通道Y,接着利用混合滤波分别对源核磁共振(magnetic resonance imaging, MRI)图像和亮度通道的灰度图像进行不同程度的增强。其次,采用NSST对增强后的MRI和亮度通道的灰度图像进行分解,得到高低频子带。低频子带使用修正的拉普拉斯能量和(weighted sum of eight-neighborhood-based modified Laplacian,WSEML)与局部区域能量加权和(weight local energy,WLE)的融合策略,高频子带采用改进边缘检测PCNN的融合策略。最后,经NSST逆变换得到融合图像。通过与其他6种融合方法对比,本文方法可以有效提高图像融合过程中的细节提取和能量保存,且整体算法运行效率高、可视性好。

基于软件无线电的数字调制信号自识别的研究

软件无线电的基本思想是构造一个具有开放性、标准化、模块化的通用硬件平台,通过软件编程来实现无线电台的各种功能。调制方式的多样化必然导致无线电台的多模式化。调制方式多样化的存在,就必须要具备自动识别各种调制方式的方法,所以,信号调制方式的自动识别是软件无线电中必须具备的功能之一。决策理论具有结构简单,识别种类多的优点,这也是本文采用决策理论的主要原因。最后仿真验证了决策理论是非常有效的。

基于PC-MSPCNN模型和SLIC的彩色图像分割方法

针对简单线性迭代聚类(SLIC)方法对图像边缘细节处理效果不佳的问题,提出一种参数可控、改进的简化脉冲耦合神经网络模型(PC-MSPCNN)与SLIC结合的彩色图像分割方法。该方法首先改进MSPCNN模型的加权矩阵和连接系数,并增设辅助参数,以提高分割准确度。随后将彩色图像输入至PC-MSPCNN模型中,依据改进模型中输出Y值的分布划分物体的边缘,使分割结果更好地贴合物体的边缘,利用所提出的相似性准则合并散布的碎片,减小后续处理的复杂度;其次,在SLIC度量相似距离的基础上引入PC-MSPCNN中RGB三个通道的内部活动项U值,完成对图像剩余部分的加权融合聚类,改进聚类效果。实验结果表明,本文方法能更精确地贴合图像中物体的边界,大幅减少碎片,有效提高图像的边缘贴合度。

基于参数可调的MSPCNN模型禁令交通标志分割方法

针对脉冲耦合神经网络在交通标志分割中准确度不高和参数设置复杂的问题,提出一种参数可调的改进脉冲耦合神经网络(PA-MSPCNN)。通过分析交通标志颜色特征,对图像进行红化预处理,区分出交通标志和环境背景;根据周围神经元对中心神经元的影响,改进MSPCNN模型中的加权矩阵和连接系数;通过分析动态阈值间的关系,增设辅助参数,使动态阈值的调节更加合理。实验结果表明,PA-MSPCNN对交通标志的检测准确率达85%。PA-MSPCNN在减少传统PCNN模型中的参数量同时,能准确分割图像,在光照条件变化、交通标志尺度变化和几何旋转等复杂情况下具有更好的适用性。