基于生成式对抗网络的高光谱影像分类

高光谱遥感影像智能解译是实现高光谱遥感应用的重要研究任务之一。针对生成式对抗网络在高光谱遥感影像分类中空谱特征利用不足的问题,提出了一种基于CVAE-GAN的高光谱遥感影像分类对抗网络算法(hyperspectral remote sensing classification based on CVAE-CGAN,HCVAE-CGAN),通过搭建1D-CNN分类模型和2D-CNN分类模型,训练判别器识别空谱特征,利用CVAE替代生成器结构生成影像光谱特征和空间特征,通过encode模块处理训练集得到空谱特征值,并将空谱特征值解码生成图像光谱,随后比对原始图像进行decode网络模型的优化,最后利用生成样本对分类器进行训练。实验结果表明,HCVAE-CGAN方法在小样本训练中有更好的检测性能,在Indian Pines和Pavia University数据集中的总体精度分别提高了2.85个百分点和3.92个百分点。

基于深度卷积对抗网络的电磁频谱异常检测

为了解决电磁频谱异常检测精度不高的问题,在深度卷积神经对抗网络(Deep Convolution Generative Adversarial Network,DCGAN)的基础上加入了编码器(Encoder)用来重构频谱数据。编码器首先将真实频谱数据编码为低维特征表示,生成器通过学习编码后的低维特征生成重构频谱数据,判别器负责将重构频谱数据与真实频谱数据进行区分,并通过对抗性训练逐渐提高模型重构频谱数据的能力,最后计算重构频谱数据与真实频谱数据的均方误差,判别异常。实验结果表明,该模型能够在多个频段下实现有效的电磁频谱异常检测,在TV频段下,干信比为-5 dB时,相比于现有电磁频谱异常检测方法,所提方法的平均检测性能提升了18%以上。

用于无监督域适应的深度对抗重构分类网络

最近迁移学习的新方法对抗域适应,将生成对抗网络(GAN)的思想添加到深度网络中,能够学习数据的可迁移表示形式进行域适应。虽然通过GAN的思想能够很好地提取出源域数据和目标域数据的共同特征,有效地进行不同域之间的知识迁移,但现有的对抗域适应算法不能有效地保留目标域数据的局部特征,而目标域数据的某些特征可能会对分类精度有显著的提升。为了避免原始数据的局部特征因对抗性学习遭到破坏,利用多任务神经网络来保留目标域数据的局部特征。提出了一个深度对抗重构分类网络的模型(DARCN)。DARCN受到自动编码器的启发,在对抗域适应的基础上,添加了自动编码器的解码部分,这样能够有效地从低维特征重建原始数据。该模型学习了以下任务的共享编码表示:带标签的源域数据的监督分类;不带标签的目标域数据的无监督重构;源域和目标域的不可区分性。最后,最小化标签分类器的分类损失和解码器的重构损失,同时最大化域判别器的分类损失,通过梯度下降法能够有效地解决此类优化问题。实验结果证明了目标域局部特征的保留对领域自适应任务是十分关键的。

基于特征重构自愈残差网络的神经元形态分类

针对不同类别神经元之间的形态相似度高、类内区别性大,容易导致神经元分类准确率不高的问题,提出了一种基于特征重构自愈残差网络的神经元形态分类方法。针对传统卷积造成边缘像素弱化和填充策略带来新像素侵蚀特征的问题,在基础网络后端构建特征重构模块来保留重要的中心特征并过滤受损的边缘特征。利用自注意力权重模块和排序正则化损失方法增强对神经元形态特征的关注。自注意力权重模块为每个样本重新分配权重,以此捕获样本重要性进行加权损失;排序正则化模块则将这些权重按降序重新排序,分为高低2组权重,同时通过在2组平均权重之间强制执行边距进行正则化处理。所提方法在大鼠神经元形态数据集上进行实验,实现了较为优良的分类效果,在Img-raw、Img-resample和Img-XYalign数据集上进行十二分类的准确率分别达到了96.7%,86.94%,85.84%。与其他分类方法相比,所提方法具有更高的神经元形态分类准确率,相较于基础网络ResNet18,有效地提升了神经元形态分类准确率。

基于CNN与GAN深度学习模型近壁面湍流场超分辨率重构的精细化研究

由城市抗风减灾的目标出发,城市边界层的高保真再现是工程界亟待解决的关键问题.基于高精度的近地风场,有望实现真实环境下城市建筑风致效应的准确预测.传统的基于气象模型的城市风场模拟方法存在预测耗时长、成本昂贵、求解尺度过高等缺陷.为更准确、高效地预测边界层的空间变化,研究利用超精度卷积神经网络(SRCNN)与生成对抗神经网络(SRGAN),在空间上将低精度的近壁面湍流场超精度重构成高精度的风场.利用近壁面湍流直接数值模拟的公共数据库训练模型并评价模型的重构性能.为寻求合适的超精度模型生成方式,研究围绕训练样本量及网络深度,开展详细的敏感性分析,确定合适的训练网络及其较优的训练参数设置.同时,基于经不同下采样因子处理的低精度流场输入,分析模型在近壁面湍流重构中的适用范围.研究发现,对比于SRCNN模型,SRGAN模型对近壁面湍流内小尺度结构的重现效果更佳.当基于4层卷积残差块、300样本量开展训练时,所生成的SRGAN模型可在较低的训练代价下实现较优的重构效果.当进行10倍超精度重构时,SRGAN模型可保证较理想的预测精度.研究成果为边界层风场的准确重构提供技术支撑,为城区建筑物风致效应的高效预测提供精确的入流条件.

针对图像分类的鲁棒物理域对抗伪装

深度学习模型对对抗样本表现出脆弱性.作为一种对现实世界深度系统更具威胁性的攻击形式,物理域对抗样本近年来受到了广泛的研究关注.现有方法大多利用局部对抗贴片噪声在物理域实现对图像分类模型的攻击,然而二维贴片在三维空间的攻击效果将由于视角变化而不可避免地下降.为了解决这一问题,所提Adv-Camou方法利用空间组合变换来实时生成任意视角及变换背景的训练样本,并最小化预测类与目标类交叉熵损失,使模型输出指定错误类别.此外,所建立的仿真三维场景能公平且可重复地评估不同的攻击.实验结果表明,Adv-Camou生成的一体式对抗伪装可在全视角欺骗智能图像分类器,在三维仿真场景比多贴片拼接纹理平均有目标攻击成功率高出25%以上,对Clarifai商用分类系统黑盒有目标攻击成功率达42%,此外3D打印模型实验在现实世界平均攻击成功率约为66%,展现出先进的攻击性能.

基于改进深度卷积对抗生成网络的肺结节良恶性分类

为提高肺结节良恶性识别的准确率,构建改进深度卷积对抗生成网络(DCGAN)框架与半监督模糊C均值(FCM)聚类结合的SFDG肺结节良恶性识别模型。将带有良恶性等级标签的肺结节图像输入到DCGAN框架,使得只有来源分类能力的判别器网络同时具备肺结节等级分类能力。在判别过程中运用半监督FCM聚类方法,对输入肺结节图像进行特征提取和量化,将输出的当前图像所属类别概率及判别结果与真实结果进行比较来调整网络参数。通过设定加权损失函数最大概率提高模型识别准确率,训练得出具有良好鲁棒性的网络模型。实验结果表明,改进模型的判别器网络具有良好的肺结节良恶性分类能力,准确率高达90.96%。

基于图像熵联合重构的对抗样本检测方法

为增强机器视觉领域深度神经网络模型的安全性,提出一种基于图像熵联合重构的对抗样本检测方法。利用正常样本和对抗样本在图像重构后,分类结果差异大小不同的原理进行对抗样本的检测。引入位深度缩减、空间平滑、图像压缩、平移、翻转、缩放6种图像重构方法,以图像熵作为重构参数选择的指标,利用KL散度序列训练二元检测器。对比实验结果表明,采用的方法相较于特征压缩法,对抗样本检测率得到提升,误检率有所降低。

一种快速生成网络流量对抗样本的单像素点攻击算法

深度学习模型已广泛应用于流量类型识别的网络防御系统,然而却容易受到精心设计对抗样本的攻击.针对该网络安全问题,从攻击者的角度出发,在不了解模型参数和不影响流量基本特性的前提下,通过修改流量数据中特定位置单个像素的特征值,形成欺骗流量数据,进而误导深度学习模型产生错误的分类结果.为了快速生成符合要求的单个像素点,文章对模拟退火算法进行改进,提出了一种快速生成网络流量对抗样本的单像素攻击(One Pixel Simulated Annealing,OPSA)算法.基于不同公开数据集的实验结果表明,与FGSM、C&W对抗攻击算法相比,所提算法在大幅提升欺骗率的同时,被修改的像素点个数最高减少了99.9%,在部分数据集上超过了DeepFool对抗攻击算法.

基于深度卷积条件生成对抗网络的虫害分类算法研究

虫害识别是防治的关键环节,但是由于虫害自身的动态性、稳定性、变态性以及种群规模庞大形态各异等特点,因此传统图像分类识别方法面临巨大挑战。本文提出一种基于深度卷积条件生成对抗网络的虫害识别方法。首先,利用空间金字塔层(SPP)嵌入鉴别器的卷积层之后,使得分类的图像可以有固定大小,尺寸一致的效果,不仅可以使得模型获取到必要的图像特征,而且大大提高了模型的收敛速度。其次将深度卷积条件生成对抗网络中的交叉熵损失函数改为最小二乘损失函数,使得最小二乘损失在一点达到饱和,从而增强模型训练的稳定性。最后使用RMSprop优化器对模型进行迭代优化,使得模型能够更快地收敛,增强模型稳定性,减小网络整体的波动。统计训练过程中各项参数变化分析,与其他方法相比,深度卷积条件生成对抗网络在分类准确率和实验稳定性方面都有较为明显的优势,该文所提出的分类准确率高达96.8%,明显优于对比算法。试验结果表明该文提出的虫害分为算法具有较高的准确率和较好的稳定性,可以为相关研究工作提供借鉴意义。

分类重构堆栈生成对抗网络的文本生成图像模型

利用堆栈生成对抗网络,提出分类重构堆栈生成对抗网络.第一阶段生成64px×64px的图像,第二阶段生成256px×256px的图像.在每个阶段的文本生成图像中,加入图像类别信息、特征和像素重构信息辅助训练,生成质量更好的图像.将图像模型分别在Oxford-102、加利福尼亚理工学院鸟类数据库(CUB)和微软COCO(MS COCO)数据集上进行验证,使用Inception Score评估生成图像的质量和多样性.结果表明:提出的模型具有一定的效果,在3个数据集上的Inception Score值分别是3.54,4.16和11.45,相应比堆栈生成对抗网络提高10.6%,12.4%和35.5%.

多分类深度卷积生成对抗网络的皮带撕裂检测

皮带撕裂是皮带机出现的最常见故障之一,直接影响皮带机的安全稳定运行。针对现有的方法大多仅对一种破损类型进行检测的情况,设计了一种基于双时间尺度的多分类深度卷积生成对抗网络的皮带撕裂检测方法。利用CCD相机捕获皮带表面图像,并经数据传输子系统将图像传送到决策子系统;在决策子系统的处理模块,通过去掉生成器的批量归一化操作,由多分类深度卷积生成对抗网络快速得到破损位置和类型;引入双时间尺度更新规则使得模型更快地收敛。实验结果表明,在MS COCO数据集上,多类别平均精确率为95.7%;在皮带图像数据集上,多类别平均精确率为96.9%。

基于带梯度惩罚深度卷积生成对抗网络的页岩三维数字岩心重构方法

针对传统数字岩心重构技术存在的成本高昂、复用性差和重构质量低等问题,提出了一种基于带梯度惩罚深度卷积生成对抗网络(DCGAN-GP)的三维页岩数字岩心重构方法。首先,利用神经网络参数来描述页岩训练图像的分布概率,并完成训练图像的特征提取;其次,保存训练后的网络参数;最后,利用生成器重构出页岩三维数字岩心。实验结果表明,相较于经典的数字岩心重构技术得到的图像,DCGAN-GP得到的图像在孔隙度、变差函数和孔隙大小及分布特征上都更接近训练图像,而且DCGAN-GP的CPU使用率不到经典算法的一半,内存峰值仅有7.1 GB,重构时间达到了每次42 s,体现出模型重构质量高、效率高的特点。

面向高光谱影像分类的生成式对抗网络

为了提高高光谱影像分类精度,提出了一种基于生成式对抗网络的高光谱影像分类方法。生成式对抗网络由生成器、判别器和分类器3部分组成,其中生成器用于模拟高光谱样本的数据分布,生成特定类别的样本;判别器是一个二值分类器,用于判断输入的样本是否为真实数据;分类器用于对输入的样本进行分类。利用反向传播算法依次更新生成器、判别器和分类器的网络参数使损失函数最小,从而达到训练网络的目的。生成器和判别器能够模拟高光谱影像的样本分布来辅助训练分类器,因此能够提高高光谱影像的分类精度。分别采用Pavia大学和Salinas高光谱数据集进行分类试验,试验结果表明提出的分类方法能够在小样本条件下提高高光谱影像的分类精度。

基于自监督对比学习的深度神经网络对抗鲁棒性提升

基于深度神经网络的多源图像内容自动分析与目标识别方法近年来不断取得新的突破,并逐步在智能安防、医疗影像辅助诊断和自动驾驶等多个领域得到广泛部署。然而深度神经网络的对抗脆弱性给其在安全敏感领域的部署带来巨大安全隐患。对抗鲁棒性的有效提升方法是采用最大化网络损失的对抗样本重训练深度网络,但是现有的对抗训练过程生成对抗样本时需要类别标记信息,并且会大大降低无攻击数据集上的泛化性能。本文提出一种基于自监督对比学习的深度神经网络对抗鲁棒性提升方法,充分利用大量存在的无标记数据改善模型在对抗场景中的预测稳定性和泛化性。采用孪生网络架构,最大化训练样本与其无监督对抗样本间的多隐层表征相似性,增强模型的内在鲁棒性。本文所提方法可以用于预训练模型的鲁棒性提升,也可以与对抗训练相结合最大化模型的“预训练+微调”鲁棒性,在遥感图像场景分类数据集上的实验结果证明了所提方法的有效性和灵活性。

基于生成对抗网络的压缩感知图像重构方法

目的为了解决传统压缩感知图像重构方法存在的重构时间长、重构图像质量不高等问题,提出一种基于生成对抗网络的压缩感知图像重构方法。方法基于生成对抗网络思想设计一种由具有稀疏采样功能的鉴别器和具有图像重构功能的生成器组成的深度学习网络模型,利用对抗损失和重构损失2个部分组成的新的损失函数对网络参数进行优化,完成图像压缩重构过程。结果实验表明,文中方法在12.5%的低采样率下重构时间为0.009s,相较于常用的OMP算法、CoSaMP算法、SP算法和IRLS算法,其峰值信噪比(PSNR)提高了10~12 dB。结论文中设计的方法应用于图像重构时重构时间短,在低采样率下仍能获得高质量的重构效果。

生成对抗网络扩充样本用于高光谱图像分类

高光谱图像包含着丰富的地理位置信息和光谱信息,高光谱图像分类是遥感领域的一个基础而又重要的研究方向。然而,高光谱图像样本数量不足仍然是限制分类精度进一步提升的主要问题。生成对抗网络中生成器和判别器的不断地对抗学习,最终理想状态为,生成器生成的伪样本判别器无法判别,生成与真实样本非常相似的伪数据样本。通过生成对抗网络来依据原有的少量样本,生成新的伪样本,解决样本获取困难、样本数量不足的问题。实验在两个高光谱图像数据集上分别选取200个和400个样本点进行实验,在生成对抗网络中生成新的伪样本,进行分类训练。与SVM、3DCNN等分类方法在同样是样本不足的情况下比较下,分类整体的平均精度得到明显定提升,实验证明所提出方法的分类表现优于其他分类方法。

基于特征重标定生成对抗网络的图像分类算法

针对传统鉴别器的损失策略和结构难以提取到更抽象以及任务相关的鲁棒性特征,从而导致半监督图像分类表现不足的问题,提出了基于特征重标定的生成对抗网络。为了学习到任务相关的特征,在现有半监督GAN的基础上,为鉴别器引入模型在不同状态下的无监督均方差损失正则项,对训练样本中两个分支的同一输入对应得到的不同输出进行参数惩罚,从而指导特征重标定的优化方向。此外,在鉴别器中加入压缩激活模块来优化传统鉴别器的卷积池化结构,该模块自动学习每一个特征通道的重要程度,能够提取任务相关特征并抑制无关特征,实现特征的重标定功能,从而提高半监督图像分类的表现。

S-JSMA:一种低扰动冗余的快速JSMA对抗样本生成方法

基于深度学习神经网络模型的技术被广泛应用在计算机视觉、自然语言处理等领域。然而,研究人员发现,神经网络模型自身存在着显著的安全隐患,例如,容易遭到对抗样本的攻击。研究针对图像分类的对抗样本相关技术能帮助人们认识到神经网络模型的脆弱性,进而推动相关模型的安全加固机制研究。针对JSMA方法存在高时间开销与扰动冗余的问题,提出了一种低扰动冗余的快速JSMA对抗样本生成方法S-JSMA。该方法使用单步操作替代迭代操作以简化JSMA的算法流程,并使用简易扰动取代JSMA中基于显著图的扰动,从而极大地降低了对抗样本生成的时间开销和扰动冗余。基于MNIST数据集的实验结果表明,相较于JSMA和FGSM方法,S-JSMA能在显著短的时间内取得较好的攻击效果。

基于生成对抗网络的RIS辅助系统信道估计算法

针对可重构智能表面(Reconfigurable Intelligent Surface,RIS)辅助的通信系统中难以获取准确信道状态信息(Channel State Information,CSI)的问题,提出一种基于条件生成对抗网络(conditional Generative Adversarial Network,cGAN)的深度学习算法,用于实现可重构智能表面辅助单输入多输出(Reconfigurable Intelligent Surface assisted-Single Input Multiple Output,RIS-SIMO)系统的上行信道估计。采用最小二乘(Least Squares,LS)估计算法进行信道的粗估计,进一步设计cGAN将信道估计问题建模为低分辨图像到高分辨图像的恢复问题,通过设计网络结构和改进损失函数来提高信道估计的精度。仿真实验表明,相比传统的LS算法以及基于卷积的深度残差网络(CNN based Deep Residual Network,CDRN)估计算法,所提算法具有更高的估计精度,且可以适应更少导频数目和更复杂的应用场景。