基于空间变换网络的盲信号调制识别方法

通信信号的自动调制识别(Automatic Modulation Recognition,AMR)在各种领域都扮演着较为重要的角色。基于神经网络的调制识别方法,能够根据提取出已调信号中可以用于分类的高层次抽象特征,相比于传统的基于人为定义特征的识别方法,具有识别率更高的优势。在实际的调制识别应用场景中,由于盲接收参数估计不准确等原因,调制识别的输入信号样本存在较大的相位、频率偏移,或时间尺度改变。已有的深度学习调制识别方法未考虑上述原因带来的影响,导致调制识别率的降低。提出了一种基于空间变换网络(Spatial Transformer Network,STN)的调制识别方法,在网络模型中引入了通信中同步的一些先验模型,通过空间变换子网络实现先验模型,在一定程度上减轻相位、频率偏移以及不同时间尺度对调制识别的影响。通过仿真数据集的实验证明,提出的方法相比于传统的CNN网络、ResNet网络和CLDNN网络的识别率在SNR>0的条件下分别提高了8.3%、4.9%和5.2%,且更加容易训练,其收敛时所需的训练时间相比于CNN网络、ResNet网络和CLDNN网络分别下降了3.5%、27%和85%。

基于空间变换网络的图像超分辨率重建

提出一种基于空间变换网络的图像超分辨率重建算法。通过设计空间变换网络,学习合适的变换参数进而对齐原始图像;利用视觉注意机制扩充网络,在训练过程中自动选择感兴趣的区域特征。最后,利用生成对抗网络进行超分辨率图像重建,从而达到高分辨率图像重建的目的。与其他算法在数据集上的重建效果对比结果表明,所提算法的超分辨率重建效果较好,且评价指数均有所提高。

灰度二次校正改进空间变换网络的遥感图像配准

为使图像能够参照变换模型实现自适应变换,减少配准时间,提出一种灰度投影二次定位优化空间变换网络的遥感图像配准方法。采用空间变换网络模型提取图像特征并进行训练得到仿射变换系数,使待配准图像能够根据该仿射变换系数实现自适应仿射变换。为了得到更精确的配准效果,减少图像的位移偏差,在空间变换网络中添加灰度投影二次校准模块,最终实现待配准图像的精确配准。实验表明,使用灰度二次校正的空间变换网络在保持配准精度的同时加快了配准的速度,并具有较好的鲁棒性。

一种联合空间变换和置换注意力机制的近岸水产养殖区信息提取方法

为解决水产养殖区遥感提取过程中近岸坑塘养殖目标和网箱养殖目标地物背景复杂,受房屋、植被、海水和船只等干扰提取精度较低等问题,提出了一种联合空间变换和置换注意力机制的近岸水产养殖区信息提取方法SA-STN-Net,选取海南省文昌市八门湾和万宁市坡头港为研究区域,先利用光谱特征和纹理特征构建水产养殖目标先验知识,然后在U-Net模型基础上联合空间变换网络(spatial transformer network,STN)和置换注意力机制(shuffle attention,SA),用于增强养殖目标空间特征、减少复杂地物的干扰并聚焦近岸水产养殖区域。结果表明:与原始U-Net模型相比,SA-STN-Net模型的总体提取精度和平均交并比提高了3.3%和5.7%;与当前较为先进的A2fpn、Swin-Transformer和Dc-Swin等深度学习分割算法相比,SA-STN-Net模型具有更好的分割性能,F 1分数分别提高了6.7%、4.2%和7.2%。研究表明,本文提出的SA-STN-Net模型能适应近岸水产养殖目标地物背景复杂的情况,可对近岸养殖目标进行有效提取,本研究结果可为近岸规划与管理部门提供技术支持。

基于空间变换密集卷积网络的图片敏感文字识别

互联网上含有大量多字体混合、形变、拉伸、左右结构字形、倾斜畸变等复杂场景下的敏感文字图片,在处理相关图片过程中存在特征提取难、识别率低的问题.本文提出基于空间变换网络与密集神经网络的方法对图片敏感文字进行特征提取与变换矫正,使用了深层双向GRU网络与CTC时域连接网络对序列特征信息进行标记预测,序列化处理文本的方式可较好地提升距离较宽文字与模糊文字信息的处理能力.实验结果表明,本模型在Caffe-OCR中文合成数据集和CTW数据集中分别实现了87.0%和90.3%识别准确率,平均识别时间达到了26.3 ms/图.

基于空间变换网络的人员行为识别方法

基于惯性测量的人员行为识别(human activity recognition,HAR)在智能运动、智能家居、医疗健康领域有着较广泛的应用前景,是当前的研究热点。提出了一种基于空间变换网络(spatial transformer network,STN)的人员行为识别方法,该方法在传统的卷积神经网络(convolutional neural network,CNN)中加入空间变换单元,使得网络对输入数据的时间平移、频率变化等因素不敏感,从而提高识别稳健性。在方法实现中,根据人员惯性数据的特点,对仿射变换的参数模型进行了改进,使其能够适应相同行为类别中惯性数据的样本变换,包含时间的平移、频率的变化等。开源数据集的试验结果表明,相比于传统的卷积神经网络和循环神经网络(recurrent neural network,RNN)的方法,提出方法的识别率分别提高了约5.1%和3.4%,网络训练收敛时间降低了2.4%和30.8%。

参数合成空间变换网络的遥感图像一致性配准

目的遥感图像配准是对多组图像进行匹配和叠加的过程。该技术在地物检测、航空图像分类和卫星图像融合等方面发挥着重要作用,主要有传统方法和基于深度学习的方法。其中,传统遥感图像配准算法在进行配准时会耗费大量人力,并且运行时间过长。而基于深度学习的遥感图像配准算法虽然减少了人工成本,提高了模型自适应学习的能力,但是算法的配准精度和运行时间仍有待提高。针对基于深度学习的配准算法存在的问题,本文提出了参数合成的空间变换网络对遥感图像进行双向一致性配准。方法通过增加空间变换网络的深度、合成网络内部的参数对空间变换模型进行改进,并将改进后的模型作为特征提取部分的骨干网络,有效地提高网络的鲁棒性。同时,将单向配准方法改为双向配准方法,进行双向的特征匹配和特征回归,保证配准方向的一致性。然后将回归得到的双向参数加权合成,提高模型的可靠性和准确性。结果将本文实验结果与两种经典的传统方法SIFT(scale-invariant feature transform)、SURF(speeded up robust features)对比,同时与近3年提出的CNNGeo(convolutional neural network architecture for geometric matching)、CNN-Registration(multi-temporal remote sensing image registration)和RMNet(robust matching network)3种最新的方法对比,配准结果表明本文方法不仅在定性的视觉效果上较为优异,而且在定量的评估指标上也有不错的效果。在Aerial Image Dataset数据集上,本文使用"关键点正确评估比例"与以上5种方法对比,精度分别提高了36.2%、75.9%、53.6%、29.9%和1.7%;配准时间分别降低了9.24 s、7.16 s、48.29 s、1.06 s和4.06 s。结论本文所提出的配准方法适用于时间差异变化(多时相)、视角差异(多视角)与拍摄传感器不同(多模态)的3种类型的遥感图像配准应用。在这3种类型的配准应用下,本文算法具有较高的配准精度和配准效率。

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.

基于空间卷积神经网络模型的图像显著性检测

针对现有显著性检测方法鲁棒检测效果较差这一问题,提出一种新的基于空间卷积神经网络的显著性检测算法。利用去均值、归一化的预处理方法获取目标候选区。一方面通过引入卷积变换网络,建立提取显著物体上下文信息的全局模型,得到相应的目标检测信息显著图;另一方面构建特征子网络结构输出6维变换矩阵,经过空间变形模块改造输入图像,获取边缘信息。将空间变换网络输出的局部置信度融入到全局显著信息图,求取特征表达最大值,实现显著性与非显著性划分,完成显著性检测任务。实验结果表明,该算法不仅在同等条件下显著检测的AUC值得到了提高,并且生成的显著性图聚焦点突显,鲁棒检测效果得到明显改善。

基于跨模态空间匹配的多模态肺部肿块分割网络

现有多模态分割方法通常先对图像进行配准,再对配准后的图像进行分割。对于成像特点差异较大的不同模态,两阶段的结构匹配与分割算法下的分割精度较低。针对该问题,该文提出一种基于跨模态空间匹配的多模态肺部肿块分割网络(MMSASegNet),其具有模型复杂度低和分割精度高的特点。该模型采用双路残差U型分割网络作为骨干分割网络,以充分提取不同模态输入特征,利用可学习的空间变换网络对其输出的多模态分割掩膜进行空间结构匹配;为实现空间匹配后的多模态特征图融合,形变掩膜和参考掩膜分别与各自模态相同分辨率的特征图进行矩阵相乘,并经特征融合模块,最终实现多模态肺部肿块分割。为提高端到端多模态分割网络的分割性能,采用深度监督学习策略,联合损失函数约束肿块分割、肿块空间匹配和特征融合模块,同时采用多阶段训练以提高不同功能模块的训练效率。实验数据采用T2权重(T2W)磁共振图像和扩散权重磁共振图像(DWI)肺部肿块分割数据集,该方法与其他多模态分割网络相比,DSC(Dice Similarity Coefficient)和HD(Hausdorff Distance)等评价指标均显著提高。

STN网络建设策略分析

随着5G技术的不断发展,我国5G技术已经从科研阶段正式朝着民用阶段拓展。在商业化部署过程中,需要重点考虑的问题之一是空间变换网络(Spatial Transformer Network,STN)的建设方法。5G网络本身具有大带宽、低时延、多连接等特点,支持不同运营商之间的共同建设。在进行STN回传网络构架建设时,要充分结合5G网络的特点。重点阐述了骨干层、汇聚层以及接入层的多阶段架构模式,对5G基站流量测算模型和低延时解决方案进行探讨,并对4类不同前传引入段光缆的场景进行了综合造价分析。

基于去模糊空间变换RCNN的毫米波图像目标检测（英文）

提出一种包含去模糊的空间变换区域卷积神经网络的目标检测算法.首先,基于主动毫米波圆柱扫描成像原理对人体进行三维成像(频率24~30 GHz),建立毫米波图像数据集.然后,估计毫米波图像的模糊核,通过卷积去噪网络获得图像先验知识,将其集成到半二次分裂的优化方法中,以实现非盲目去模糊.最后,由定位网络、网格生成器和采样网络三部分组成空间变换网络,将它融入到特征提取网络中,在去模糊后实现目标检测.通过该非盲目去模糊算法得到的图像的峰值信噪比可达27.49 dB,目标检测算法的平均精度可达80.9%.实验结果表明,与现有的先进方法相比,该方法可以有效地提高图像质量和检测精度,为毫米波图像中隐藏危险品的目标检测提供了新的技术支持.

基于多尺度局部特征融合的行人重识别方法

针对现有行人重识别方法在提取行人特征时存在特征不对齐、忽略相邻区域语义相关性、背景杂乱以及训练效率低的问题,提出一种多尺度局部特征融合的方法。首先引入空间变换网络对图像进行自适应仿射变换,实现行人空间特征对齐;接着横向均等分割不同尺度的特征图,对相邻局部块采取不同的拼接方式,以弥补切割造成的相邻块关联性信息缺失的问题;再融合全局特征与局部特征,挖掘二者之间的关联性。同时,融入随机擦除的方法对数据集进行处理,防止模型过拟合;并且使用多种损失函数对网络模型进行训练,提升模型的类内紧致性和类间差异性。将所提方法在Market-1501和DukeMTMC-ReID数据集上进行实验,Rank-1分别达到95.0%,88.8%,mAP分别达到89.2%,78.9%,结果表明所提方法能够提取更具判别力的行人特征。

基于生成对抗网络的V形焊缝图像修复算法

V形焊缝在激光视觉焊缝跟踪系统中,由于焊接过程中焊接工件附近的恶劣拍摄环境导致跟踪定位失效,为了减少图像修复网络训练过程中的模型偏移问题,提出了一种基于生成对抗网络(GAN)的图像修复算法。将神经网络与空间变换网络(STN)模块相结合,在图像合成修复过程中提高了原有焊接图像中特征信息的不变性,解决了模型在训练过程中的偏移问题。获得的焊缝修复图像在平均梯度上相较于GAN方法可提升60%以上,提高了视觉焊缝跟踪系统的抗干扰能力,平均跟踪误差可达到0.2 mm以内。

基于分层精简双线性注意力网络的鱼类识别

由于水下鱼类图像采集困难,现有的数据集主要以视频提取为主,采集到的鱼类图像存在背景环境复杂、像素低下等问题,使得细粒度鱼类图像识别任务难度较大。针对上述问题,提出了一种基于空间域注意力机制和分层精简双线性特征融合的网络。识别网络可进行端到端的训练,由两部分组成:第一部分是以空间变换网络(STN)为注意力机制的背景过滤网络;第二部分以vgg16网络作为特征提取器,根据高层卷积部分对鱼类图像细粒度特征响应的差异性,选取三组特征进行降维近似的网络精简融合,最终级联三组融合的特征送入softmax分类器。特征提取网络以ImageNet数据集上训练的参数进行初始化,采用鱼类数据集进一步微调。通过在F4K鱼类数据集上的对比验证,结果表明,所提出的分层精简双线性注意力网络(STN-H-CBP)在降低特征维度减少计算量的同时,在该数据集上的表现与现有的最优方法相当。

集成空间变换结构与深度残差网络的遥感影像场景分类方法

针对传统高分辨率遥感影像的场景分类效率较低,以及卷积神经网络在遥感影像场景分类上由于空间不变性而导致的分类精度不高的问题,提出了一种结合空间变换网络和迁移学习的高分辨率遥感影像场景分类算法.首先,利用ImageNet数据集训练深度残差网络ResNet101得到预训练模型,通过知识迁移提高模型目标探测效率;之后在模型中嵌入空间变换结构,使模型能够主动在空间上变换特征映射,提高模型的鲁棒性;最后,在模型中添加Dropout层减小模型出现过拟合的概率.本方法在AID和NWPU-RESISC45两种不同规模的高分遥感影像数据集上进行了验证,在只有20%训练样本的情况下仍达到了94.30%和93.63%的分类精度.实验结果表明本次改进模型具有更好的特征提取能力,针对易误分类场景的分类结果更优.

基于空间自适应卷积LSTM的视频预测

在视频预测领域,传统的CNN与LSTM都不能充分表征视频中的时空特征。针对这一问题提出空间自适应卷积LSTM算法。受空间变换网络启发,在卷积LSTM内部的“input-to-state”计算过程中将传统卷积操作改为空间自适应卷积:利用额外卷积层获得自适应卷积所需的位置参数,令自适应卷积根据时空信息选择卷积位置,提升模型捕捉时空变换特征的性能;并针对雷达回波预测提出多分支编码预测的网络架构,根据降水类别训练4个不同的支路,以提升网络的预测性能。在合成数据集与真实数据集上的实验结果表明,该模型取得了有竞争力的结果,单独设计一个模块让网络显式地学习某种特征会使网络有更好的性能。

基于点云卷积神经网络的蛋白质柔性预测

目的蛋白质的柔性运动对生物体各种反应有着重要意义,基于蛋白质的空间结构预测其柔性运动是蛋白质结构-功能关系领域的重要问题。卷积神经网络(convolutional neural network,CNN)在蛋白质结构-功能关系研究中已有成功应用。方法本研究借鉴计算机视觉研究中PointNet方法的思想,提出了一种蛋白质柔性预测的CNN模型。在该模型中,分别使用池化操作和空间变换网络来处理蛋白质原子三维点云的排列不变性和整体旋转不变性,针对蛋白质分子大小不一的特点,将大小不等的蛋白质小批量输入网络进行训练,并使用Pearson相关系数作为评价指标。此外为提升模型性能,在CNN模型的基础上,通过最大池化和平均池化串联的方法提取体系的全局特征,增强蛋白质全局信息的提取能力。利用243个非冗余蛋白质的B因子对所提出的模型进行训练和测试。结果基于PointNet的CNN模型和改进模型对蛋白质B因子的预测值与实验值的平均Pearson相关系数分别为0.64、0.65,优于广泛应用的高斯网络模型(Gaussian network model,GNM)。尤其,对于天然无序蛋白质柔性的预测,本方法明显优于GNM。结论本研究为蛋白质的柔性预测提供了有效的模型。

基于深度卷积神经网络的点云三维目标识别方法研究

为了提高对三维点云目标的识别精确度,提出一种基于深度卷积神经网络(CNN,convolutional neural network)的点云目标识别模型;针对已有的深度卷积点云目标识别网络无法有效提取点云局部拓扑特征的问题,采用迭代最远点采样(FPS,terative farthest point sampling)结合方向卷积编码方式来捕获局部形状特征;并引入空间变换网络(STN,spatial transform network)使点云数据能够自适应进行空间变换和对齐,以解决点云数据旋转性会造成目标识别结果不稳定的问题;实验结果表明:文中提出的点云目标识别方法有效提高了识别精度度,相较于PointNet在ModelNet40和ShapeNetCore两个数据集上分别提高1.2%和1.4%。

基于改进深度孪生网络的分类器及其应用

孪生神经网络由两组共享参数的孪生神经网络组成,可对高维度非线性的数据进行低维度映射,其在低维特征空间中变得可分。利用其优异的相似度计算性能,针对像交通标志识别这样具有复杂环境条件的分类问题,提出并设计基于孪生神经网络结构的高效分类器。采用卷积神经网络作为其基本构成,运用max-pooling,dropout等技术形成特征提取所需的多尺度卷积神经网络。同时辅助以空间变换器网络来进一步提高识别的准确率。通过对GTSRB交通标志数据集进行测试,其识别的准确率达到了99.40%。该分类器方法同时具备了结构简单、训练时间短、准确率高以及识别速度快的优点。