基于双向生成对抗网络的图像感知哈希算法

本文提出一种基于双向生成对抗网络(Bidirectional Generative Adversarial Network, BiGAN)的无监督感知哈希生成算法,通过编码网络、生成网络和判别网络间的双向迭代对抗,生成具有较强图像语义特征表示能力的感知哈希码.本算法通过在编码网络和生成网络间添加跳接层网络结构,将原始图像不同维度的特征信息传递到生成网络,提高生成图像语义学习能力与网络收敛速度;同时,在对抗损失中添加均方误差(Mean Sequare Error, MSE)损失,增强生成图像的视觉质量与细节表示能力.最后,基于网络间的多重迭代对抗训练,输出兼备相同来源图像鲁棒性和不同来源图像区分性的高性能图像感知哈希码.本研究首次采用大型图像数据库进行算法性能评价,实验结果表明,基双向生成对抗网络的感知哈希生成算法与当前其他最新研究方案相比具有更强的版权认证与来源检测能力.

基于双向生成对抗网络的感知哈希图像内容取证算法

传统的感知哈希算法通过提取图像特定属性生成感知哈希序列,难以充分利用原始图像全部特征信息,影响了基于感知哈希的图像内容认证与版权保护能力.本文提出一种基于双向生成对抗网络(Bidirectional Generative Adversarial Network,BiGAN)的无监督感知哈希图像内容取证算法,基于编码网络、生成网络和判别网络间的双向迭代对抗,生成具有较强图像语义特征表示能力的感知哈希码;并通过在编码网络和生成网络间添加跳接层网络结构,将原始图像不同维度的特征信息传递到生成网络,提高生成网络语义特征学习能力与网络收敛速度;同时,在对抗损失中添加MSE误差损失,增强生成图像的视觉质量与细节表示能力;最后,基于网络间的多重迭代与对抗训练,输出兼具相同内容图像认证鲁棒性和不同内容图像区分敏感性的高性能图像感知哈希码.本研究首次采用大型图像数据库进行算法性能评价,实验结果表明基于双向生成对抗网络的感知哈希图像内容取证算法与当前其他优秀研究方案相比具有更强的图像内容取证性能.

面向6G的生成对抗网络研究进展综述

人工智能(AI,artificial intelligence)与通信技术的深度融合是6G网络的典型特征。一方面,AI为6G网络发展注入了新动力,能够有效利用网络运行产生的历史数据,使网络具备自维护、自优化的功能,加速了网络智能化进程。另一方面,6G网络丰富的场景和大规模的物联设备入网应用为AI提供了广阔的应用渠道和海量的训练数据,使AI能够更好地训练和部署,充分发挥AI的内在优势,为用户提供更加优质的智能服务。尽管如此,在一些实际应用中,受复杂环境的影响,存在数据样本收集困难、收集成本高和样本普适性不足等问题,难以充分发挥AI的性能优势。为此,学术界和工业界将生成对抗网络(GAN,generative adversarial network)引入无线网络的设计中,利用GAN强大的特征学习和特征表达能力产生大量模拟实际的生成样本,实现无线数据库的扩充,从而有效提升面向无线网络的AI模型的泛化能力。由于其优秀的性能表现,以GAN为代表的生成式模型在无线网络领域受到越来越多的关注,并迅速发展成为6G网络新的研究热点。首先,综述了GAN的原理及其改进衍生模型,对各种衍生模型的框架及优缺点进行了分析归纳;然后,综述了这些模型在无线网络领域的研究及应用现状;最后,面向6G网络的需求展望了GAN在6G网络中的研究趋势,为未来的研究提供了一些有价值的探索。

基于生成对抗网络的噬菌体尾部蛋白序列设计

生成对抗网络(GAN)在图像生成、蛋白质设计领域有着广泛应用,但是对于噬菌体尾部蛋白的生成少有研究。提出一种基于GAN的噬菌体尾部蛋白序列生成方法。首先使用Wasserstein距离作为模型的目标函数。其次采用多层感知机(MLP)作为模型的基本结构。然后将MLP扩展为多路径结构。实验结果表明,上述方法取得了0.9241的质量得分、0.8498的多样性得分和1.7739的总得分,优于其它常用的生成方法。相较于单路径MLP,多路径MLP提高了序列的生成效果。所提方法能够生成高质量噬菌体尾部蛋白序列,同时保证生成序列的多样性。

基于生成对抗网络的面部图像修复算法研究

为了解决目前基于生成对抗网络的图像修复算法在修复大范围面部图像时修复效果不好,特征提取不充分的问题,提出了基于注意力机制的生成对抗网络修复模型。引入自注意力机制模块来感受图像全局特征用来生成图像缺失区域,能够更好地修复图像的大范围缺失。同时改进了判别器,引入感知损失,提高了修复图像的结构相似度。在CelebA数据集上的实验结果表明,该算法在各项评价指标上均优于现有主流算法,其PSNR损失提高了0.81%~1.94%,SSIM提高了1.06%~2.49%,MSE降低了0.12%~0.35%。

基于感知生成对抗网络的图像压缩感知重建

现有的深度压缩感知重建算法在低采样率下,由于使用像素损失指导优化的网络会使得重建的图像无法有效地提取出原始图像的纹理细节,导致重建图像视觉观感较差。针对上述问题,提出了基于感知生成对抗网络的图像压缩感知重建算法,用感知损失代替像素损失,使得重建图像细节和纹理特征保留。通过对比实验表明,提出的基于感知生成对抗网络的图像压缩感知重建算法在低采样率下重建出的图像具有更强的视觉效果和真实性。

结合感知损失与双重对抗网络的低剂量CT图像去噪

低剂量计算机断层扫描(LDCT)成像技术在医学诊断中得到广泛应用,但其斑纹噪声和非平稳条纹伪影复杂,目前多数算法仅依靠推断条件后验概率来实现图像去噪,无法应对LDCT图像噪声复杂、数据量少、先验知识缺乏的问题。提出一种结合感知损失的双重对抗网络去噪算法,以实现LDCT图像复原。该算法包含一个去噪器和一个生成器,分别从图像去噪和噪声生成2个角度来建模干净-噪声图像对的联合分布,通过联合学习使得去噪器和生成器相互指导,从而充分学习数据中的噪声信息和清晰图像信息,且学习到的去噪器可以直接用于LDCT图像修复。考虑到通过感知损失学习语义特征差异可以使去噪结果保留更多的细节和边缘信息,提出一种掩膜自监督方法,针对CT图像域训练一个语义特征提取网络用于计算感知损失。实验结果表明,与BM3D、RED-CNN、WGAN-VGG等主流去噪算法相比,该算法可以有效抑制噪声并去除伪影,最大程度地保留边缘轮廓和纹理细节,产生更符合人眼视觉特性的去噪效果,与当下LDCT图像去噪性能较好的SACNN算法相比,所提算法的PSNR和SSIM指标分别提升1.26 dB和1.8%。

基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题,提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块,提高生成器提取书法字体细节特征的能力,通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性,避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征,使得字体轮廓更加清晰,最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明,提出算法的主观客观评价结果均优于对比算法,与zi2zi相比,峰值信噪比分别提高了1.58、1.76 dB,结构相似性分别提高了5.66%、6.91%,感知相似性分别降低了4.21%、6.20%.

基于感知对抗网络的图像风格迁移方法研究

基于有关图像风格迁移研究成果,结合生成式对抗网络(generative adversarial network,GAN)和感知损失函数,文章提出了基于感知对抗网络(perceptual adversarial network,PAN)的图像风格迁移方法。该方法利用感知损失函数进行对抗训练,通过图像转换网络与判别网络之间的交替优化,生成图与原图在多个网络层次的特征差异能被持续发掘,使生成图的内容和风格更接近原图。实验结果表明,基于PAN的图像风格迁移方法能取得更佳效果。

生成对抗映射网络下的图像多层感知去雾算法

雾霾常会影响获取图像的质量,单幅图像去雾是一个具有挑战性的不适定问题.针对传统的去雾方法存在去雾结果颜色失真、适用范围局限等问题,提出一种基于深度网络的去雾算法——生成对抗映射网络的多层感知去雾算法.在训练阶段中,利用生成对抗映射网络里判别网络与生成网络间对抗式训练机制,保证生成网络中参数的最优解;在测试还原过程中,先提取有雾图像中雾气相关特征,并利用训练得到的生成网络对提取特征进行多层感知映射,进而得到反映雾气深度信息的透视率,最终运用得到的透视率实现了图像去雾.实验结果表明,与同类算法相比,该算法能较好地还原出场景中目标的真实色彩,并抑制部分噪声,去雾效果明显.

基于生成对抗网络的压缩感知图像重构方法

目的为了解决传统压缩感知图像重构方法存在的重构时间长、重构图像质量不高等问题,提出一种基于生成对抗网络的压缩感知图像重构方法。方法基于生成对抗网络思想设计一种由具有稀疏采样功能的鉴别器和具有图像重构功能的生成器组成的深度学习网络模型,利用对抗损失和重构损失2个部分组成的新的损失函数对网络参数进行优化,完成图像压缩重构过程。结果实验表明,文中方法在12.5%的低采样率下重构时间为0.009s,相较于常用的OMP算法、CoSaMP算法、SP算法和IRLS算法,其峰值信噪比(PSNR)提高了10~12 dB。结论文中设计的方法应用于图像重构时重构时间短,在低采样率下仍能获得高质量的重构效果。

基于改进生成式对抗网络的稀疏角度CT去伪影方法学研究

目的:探索一种适合稀疏角度CT扫描的深度学习重建方法,有效降低辐射剂量,减少辐射剂量对人体产生的潜在致癌风险。方法:针对稀疏角度CT扫描重建过程图像信息缺失及伪影增加的问题,采用带梯度惩罚项的Wasserstein生成式对抗网络(WGAN-gp),并在生成器中使用医学图像分割领域常用的分割网络——包含密集卷积模块的U型网络(DUnet),提出DUnet-WGAN-gp网络。为保留生成图像的细节信息,在该网络中加入均方差损失函数和感知损失函数。分别将DUnet-WGAN-gp网络与Unet网络和DUnet网络用于稀疏角度CT的伪影去除,并比较其重建结果。结果:Unet网络、DUnet网络和DUnet-WGAN-gp网络均能有效去除稀疏角度CT采样产生的条形伪影,DUnet-WGAN-gp网络能够有效改善Unet网络和DUne网络产生的血管及胸骨边界模糊的问题。结构相似性(SSIM)方面,DUnet-WGAN-gp网络与Unet网络和DUnet网络比较分别提高19.69%和18.36%;峰值信噪比(PSNR)方面,分别提高24.78%和18.41%。结论:DUnet-WGAN-gp网络可以清晰地重建出稀疏角度CT图像,有助于开展低剂量CT的临床诊断。

一种基于条件生成对抗网络的高感知图像压缩方法

针对如何获得符合人类视觉感知的压缩图像问题,提出了基于条件生成对抗网络的图像压缩模型(HPIC).在HPIC中,首先利用一个超先验概率模型对原始图像进行编码量化,将条件附加标签和残差模块相结合的生成器用于压缩图像的重建,基于深度卷积神经网络搭建的判别器则用于区分压缩后的图像和真实图像间的差异.损失函数是基于比特率-失真-感知优化理论来设计的,一方面选用基于预训练Inception网络特征值的感知失真指标来实现具有高感知质量的图像压缩重建,另一方面利用生成对抗网络损失来消除压缩伪影,提高压缩精度.实验结果表明,HPIC在比特率-失真-感知三重权衡中取得了较好的平衡,即使目前的常见算法使用两倍于本文算法的比特率,本文算法在所有的感知指标得分上均优于前者,HPIC仍能够实现具有高感知质量的压缩.

基于生成对抗网络的单图像材质SVBRDF重建方法

针对传统的材质空间变化双向反射分布函数(spatially varying bidirectional reflectance distribution function,SVBRDF)重建方法存在重建质量不佳和对光源感知能力不足的问题,提出一种基于深度学习的面向单图像的材质SVBRDF重建新方法.首先,采用生成对抗网络框架与多组编码-解码器卷积网络架构提高SVBRDF重建质量;其次,在生成器中引入高光感知处理模块,减少SVBRDF重建时由高光所致的模糊;最后,采用一系列鉴别器对生成器网络参数进行训练,以区分网络的输出值与真实值,并利用合成图像和真实材质拍摄图像混合训练网络,解决合成图像与真实材质拍摄图像之间的像素数据分布差异问题.结果表明,基于生成对抗网络的单图像材质SVBRDF重建方法的重建质量和SVBRDF参数估计准确率都高于传统方法.

生成对抗网络进行感知遮挡人脸还原的算法研究

有遮挡人脸图像还原是指通过对遮挡区域的图像进行估计,尽可能使用语义上合理的内容来填补.现有的人脸图像还原算法大多使用预先定义的掩模来模拟遮挡,并未考虑真实场景下的遮挡(如眼镜、口罩等)大小和位置对图像还原的影响.提出了一种基于深度卷积生成对抗网络的遮挡感知人脸还原方法,通过学习最接近遮挡图像的编码,来推断缺失的内容,并在生成的过程中自动检测出遮挡的区域,此外,为了减少面部信息丢失,保证恢复后的人脸的真实性,引入语义感知网络,以此进一步优化所提模型.对所选数据集的实验表明,所提出的模型效果较好.

空间仿生可变构智能感知网络技术

基于仿生集群系统感知功能与行为的视角,提出了空间感知网络的若干前沿科学问题,包括仿生可变构异构空间分布式智能感知网络设计、单星自主机动对准和协调操控、星群协同相对测量与控制等。在干扰对抗态势下,空间感知网络的生存智能需求是保持各节点的可变构型网络、异构分布式感知与协调控制,从抗扰、容错和节能等角度提出了未来智能感知网络所应具有的安全、绿色和免疫等特征。仿生空间感知网络的目标是通过可变构异构分布式星群设计,实现星群多源信息融合和“眼、耳、脑、体、群”的智能协调,提高感知网络的智能协调能力以及对于空地目标与空间态势的感知、理解、预判和机动处置能力。

基于压缩感知的神经网络实时综合防御策略

近年来,基于深度神经网络的视觉识别模型因其在准确率、成本及效率等方面的优势而广泛应用于自动驾驶、工业检测及无人机导航等领域.而深度神经网络自身易受数字域或物理域对抗样本攻击导致模型误判,因此其在无人驾驶等具有强鲁棒性、高实时性要求的场景中部署和应用可能为系统引入新的风险.现有的防御方案在增强模型鲁棒性的同时往往造成准确率明显下降,且往往不能对像素攻击和补丁攻击均提供较强防御能力.因此,设计一种精度高且对多类对抗攻击均具有强鲁棒性的实时综合防御策略成为深度神经网络视觉方案落地应用的关键.本文提出一种基于压缩感知的神经网络实时综合防御策略ComDCT,首先构建图像压缩感知压缩域与其稀疏离散余弦系数之间的映射神经网络,并将网络输出的离散余弦系数通过离散余弦逆变换恢复为去除对抗性扰动的图像作为分类器输入,以降低对抗样本攻击成功率.其次,本文提出通过引入分类损失进一步提升防御策略的综合性能,并根据防御者是否掌握分类模型参数结构等信息分析讨论并验证了黑盒、白盒两种防御模式下引入分类损失的有效性.相比于ComDefend、MF、TVD、LRR等多种防御方法,本文提出的基于压缩感知的神经网络实时综合防御策略在白盒防御模式下防御性能综合指标PDA在LISA、SVHN数据集上分别提升11.88%、7.01%以上,黑盒防御模式下分别提升9.25%、6.7%以上.

一种改进条件生成对抗网络的图像去雾算法

针对现有去雾算法存在的颜色失真、细节丢失和一些肉眼可见的薄雾残留等问题,提出了一种改进条件生成对抗网络的去雾算法。首先,为了能更好地保留图像的底层纹理信息和结构信息,共享浅层和深层图像之间的特征,设计了含对称层跳跃连接结构的生成器。其次,为了保留图像的细节并减少伪影,重新设计了损失函数,在原始网络损失的基础上引入L1损失和感知损失。提出的算法在HSTS数据集上的峰值信噪比可达27.3064 dB,结构相似度达0.9633,比其他算法的最优值分别提高了5.728 dB和0.0581。去雾后目标检测的mAP提高了2.51%,召回率提高了4.31%。实验结果表明,所提出算法可以减少色差,解决薄雾残留问题,块效应基本消除,在主观效果和客观评价上均具有明显优势。

多层感知器深度卷积生成对抗网络

生成对抗网络(GAN)是目前图像生成领域中一种新的、有效的训练生成模型方法。深度卷积生成对抗网络(DCGAN)作为GAN的一种延伸,将卷积神经网络引入到生成模型中进行无监督训练。但DCGAN的线性卷积层对于下层数据块是一个广义线性模型,其抽象层次较低,生成的图像质量不高,并且在模型性能度量方面仅以主观的视觉感受来评判图像质量。针对以上问题,文中提出了一种多层感知器深度卷积生成对抗网络(MPDCGAN),采用多层感知器卷积层取代广义线性模型在输入数据上进行卷积,以捕获图像更深层次的特征,并采用定量评估方法Frechet Inception Distance(FID)衡量图像生成质量。在4种基准数据集上的实验结果表明,采用MPDCGAN生成的图像的 FID 值与图像质量呈负相关关系,且图像生成质量随着 FID 值的降低得到了进一步的提高。