多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络(GAN)在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型(StackGAN++)基础上,提出了一种多层次结构生成对抗网络(MLGAN)模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。

双目标优化与生成对抗网络结合的框架结构阻尼器布置方案智能设计方法

为实现框架结构的阻尼器智能化布置,结合减震设计原理和智能算法,采用双目标优化算法和生成对抗网络算法分别进行阻尼器竖向和水平智能布置研究,并将该方法应用到两个框架结构减震设计工程案例中。在框架结构减震设计中,采用双目标优化算法进行阻尼器竖向布置,并与逐层逼近法、工程师设计和非减震设计进行对比,结果表明,采用该优化算法得到的阻尼器竖向布置方案能有效降低层间位移角和楼层加速度,提高结构的抗震性能。在确定各楼层的阻尼器数量后,利用训练好的生成对抗网络生成模型,可快速、自动地选择和确定各楼层阻尼器的平面安装位置,生成的平面布置与工程师设计的平面布置在相似性差异度综合评价指标上小于临界值0.1,说明两者相似度较高,且有利于提高原结构的抗扭能力。将双目标优化算法与生成对抗网络相结合,不仅能满足框架结构的减震性能目标,而且可实现阻尼器布置方案的智能设计,提升减震工程设计效率。

基于生成对抗网络的自动框架结构设计

本文在结构设计中引入人工智能方法,通过提出建筑结构特征表达方法,构建以生成对抗网络为核心的框架结构自动设计方法。在数据前处理阶段,通过对建筑结构图纸分析,提出建筑特征表达方法与结构特征表达方法。在构建算法模型阶段,实现在有限的数据量下训练生成对抗算法学习框架结构布置,构建了依据建筑信息自动生成含有构件尺寸信息的框架结构自动布置模型,并提出了评价指标量化评价模型的结构设计能力。在案例中使用本文构建的框架结构自动布置模型完成一栋实际建筑的自动设计,验证了本文提出方法对结构设计效率的提高。

一种结合卷积自编码和补丁惩罚的生成对抗网络单图像去雨方法

针对传统的图像去雨方法存在去雨图像失真、生成伪影等问题,提出一种结合卷积自编码和补丁惩罚的生成对抗网络单图像去雨方法。首先,该方法采用卷积自编码组成生成器网络,使用对称跳跃连接提高生成器网络的训练效率和收敛性能,实现对图像细节信息和二维信号空间信息的重构;其次,引入马尔可夫鉴别器在图像补丁层次上进行惩罚,去除生成图像中的伪影;最后,提出一种新的精细化损失函数参与训练网络模型,进一步增强模型的去雨深度。采用峰值信噪比和结构相似性作为模型的评价标准,实验结果表明,该方法在现实雨图和合成雨图的去雨处理上都有良好的表现,基本还原了图像细节内容,并保证了较高的视觉质量。

科技文献的多层次结构功能识别

实现科技文献结构功能的自动识别有助于提升细粒度信息检索、关键词抽取、引文分析等任务的效率。针对当前结构功能识别研究面临的文本内部依赖关系表达能力较弱、模型泛化迁移能力不足等问题,本研究利用图卷积神经网络捕捉单词节点间存在的固有依赖信息和拓扑结构,提升模型对科技文本建模表达能力,同时,还引入对抗学习思想,提升结构功能识别模型的泛化能力。选取ScienceDirect数据集,考察多种模型方法对章节标题、章节内容、章节段落三个不同层次的结构功能的识别效果,并在PubMed-20k的医学摘要结构功能数据集上进一步测试多种模型的跨领域迁移能力。研究结果表明,在章节标题层次,BERT+GCN的识别效果最佳,F1值达到了88%,比基线模型提升3%;在章节内容层次,BERT+GAN的识别效果最佳,F1值达到了76%,比基线模型提升了3%;在章节段落层次,F1值达到了68%。BERT+GCN的跨领域迁移能力相比其他模型更优,在跨领域数据上取得了90%的F1值。

基于生成对抗网络的树种识别方法

【目的】利用卷积神经网络模型进行图像自动识别时,为防止模型过拟合通常需要大量训练样本。本研究为提高树种识别准确率,在原有叶片图像基础上进行图像样本扩充来保证训练质量,提出一种融合生成对抗网络与卷积神经网络的树种识别方法。【方法】在Pytorch框架下,采集10种常见树种(山杨、梣叶槭、榆、刺槐、紫丁香、杜仲、火炬树、山荆子、水曲柳、红端木)叶片图像作为研究对象。首先,采用均值滤波去噪和尺寸归一化对图像进行预处理。其次,以生成对抗网络生成的图像扩充数据集,其中,以深度卷积生成对抗网络(DCGAN)模型为基础并对其进行改进,建立残差条件深度卷积生成对抗网络(RC-DCGAN)模型,将随机噪声和类别标签作为生成器的输入,以控制样本生成过程;在生成器中嵌入残差结构,使生成模型学习更多特征信息,以提高生成图像质量。然后,将原始图像和扩充图像作为卷积神经网络(CNN)的训练集,一方面,使用RC-DCGAN模型和旋转、镜像、改变对比度等传统图像扩充方法,扩充图像11400幅;另一方面,将原始图像与生成图像、原始图像与传统扩充图像,分别输入至CNN中进行训练,并在原始图像的每个类别中随机挑选50幅对模型进行测试,以验证生成对抗网络对提升识别准确率的可行性。最后,确定适合试验要求的CNN分类模型,并与AlexNet模型、VGG-16模型、VGG-19模型、ResNet18模型的识别效果进行对比,以检验本研究方法的可行性。【结果】RC-DCGAN模型比DCGAN模型生成的图像质量更高,贴合真实图像;利用生成对抗网络扩充图像的方法与ResNet30树种识别模型,训练准确率为99.03%,平均验证识别准确率为97.20%;而在相同树种识别模型下,传统图像扩充方法的识别率为95.50%;在相同数据集下,AlexNet模型、VGG-16模型、VGG-19模型、ResNet18模型所获得的识别率分别为86.52%、87.57%、91.43%、93.25%,均低于本研究模型的识别率。【结论】联合生成对抗网络和卷积神经网络的方法对本研究10种树种叶片图像的识别准确率最高,且克服了使用传统图像处理扩充方法使模型泛化能力下降的问题,说明利用生成对抗网络对图像扩充的方法具有可行性和有效性,可为相关研究工作提供借鉴。

面向网络流量数据增强的生成对抗网络改进研究

网络流量数据的高维复杂特性,使得生成对抗网络生成的网络流量数据质量较差。为了解决该问题,提出一种基于双生成器的条件映射生成对抗网络(a cGAN with projection discriminator based on double generators,PD-DcGAN)并将其应用于少数类流量增强。提出基于Gumbel-sigmoid分布的离散生成器,获得近似于离散数据的光滑可导分布生成离散特征,并将其与连续数据生成器并联运行,二者结果串联组合,获得数据整体分布情况;以内积形式融合条件信息和特征信息,克服传统方法出现假设空间增大的问题,缓解模型训练过程中的不稳定现象;在损失函数中引入梯度惩罚因子,将判别器梯度限定在一定范围内,有效缓解梯度爆炸。利用UNSW-NB15数据集,从生成样本质量和模型有效性两个角度检验模型性能。实验结果证明,与其他数据增强方法相比,PD-DcGAN在准确率、精确率、召回率和F1得分上分别平均提高2.72%、1.72%、1.87%和1.16%;与原始数据集相比,对难以检测的Analysis、Backdoors、Exploits、Shellcode和Worms等少数类流量检测性能提升明显,分别从不足1%分别提升至7.93%、6.53%、15.72%、14.02%和10.91%。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

基于文本特征融合的双流生成对抗修复网络

为解决深度学习技术存在特征挖掘不充分、语义表达不完整等问题,消除修复图像存在伪影或模糊纹理等现象,本文构建了上下文特征融合的双流生成对抗修复网络,以实现重建、感知与风格损失的补偿,从而使修复后的图像实现全局一致性。该网络采用融入注意力机制的U-Net作为主干网络,充分提取图像结构和纹理特征。采用上下文本特征融合网络充分挖掘图像高级语义及特征信息的上下文关系,实现空洞区域的结构及纹理特征的填充与精细修复。采用结构与纹理双流鉴别器来估计纹理和结构的特征并统计信息来区分真实图像和生成图像。采用基于语义的联合损失函数以增强修复图像在语义上的真实性。将本文算法与对比算法中表现最好的CTSDG算法在CelebA和Places2数据集上进行对比,其中PSNR与SSIM值在CelebA上分别提升2.74 dB和5.80%,FID下降4.02;PSNR与SSIM值在Place2上分别提升4.15 dB和3.33%,FID下降2.33。因此,改进的图像修复方法的客观评价指标更优,能够更加有效地修复破损图像的结构和纹理信息,使得图像修复的性能更佳。

基于结构相似约束生成对抗网络的视网膜OCT图像去噪算法

光学相干断层扫描(OCT)图像中存在的散斑噪声会掩盖视网膜重要的形态学细节,妨碍视网膜病变的观察和临床诊断。提出了一种基于结构相似约束生成对抗网络的视网膜OCT图像去噪算法,基于残差策略改进生成对抗网络模型结构,并融合结构相似性损失约束模型优化,实现散斑噪声抑制,同时增强对视网膜结构细节的保留。在杜克大学发布的SD-OCT公开数据集上的实验表明,所提算法的峰值信噪比和边缘保持指数分别为28.08和0.960,优于所对比的其他去噪方法,且适用于其他来自A2A SD-OCT研究的公开数据集。

基于生成对抗网络的时空交通数据预测方法研究

交通流预测是时空数据挖掘领域的一个核心研究方向,其挑战在于交通流的高度非线性和复杂模式使得预测结果难以满足实际需求。现有方法往往忽略了时空动态性建模以及整合外部环境因素的重要性,因此,提出一种基于生成对抗网络(GAN)的时空图交通流预测方法,通过无监督学习时空图特征表示,实现更精确的时空序列图预测。所提出的方法采用GAN结构,通过博弈学习数据的分布并进行变分推理。实验结果表明,基于GAN的时空图交通预测方法在中国台湾高速交通数据集上的表现优于基线方法,能够更有效地解决预测结果平滑性的问题,获得更高效和准确的预测结果。

基于改进的生成对抗网络的动漫头像生成算法

针对大部分生成对抗网络在动漫图像的生成上会呈现出训练不稳定,生成样本多样性比较差,人物局部细节上效果不好,生成样本质量不高的问题,文章利用条件熵构造的一种距离惩罚生成器的目标函数,结合注意力机制提出一种改进模型MGAN-ED。模型主要包括融入多尺度注意力特征提取单元的生成器和多尺度判别器。采用GAM和FID进行评估,所做实验结果表明模型有效地解决了模式崩塌的问题,生成图像的局部细节更加清晰,生成样本质量更高。

多层次生成对抗网络的动画头像生成方法研究

现有的动画图像生成方法存在合成图像多样性缺失、局部纹理不清晰、样本方差较小,难以根据细节描述进行生成的问题。基于堆叠式生成对抗网络(StackGAN++)的思想,结合辅助分类器,提出改进模型ACM-GAN(auxiliary classification atteched multi-level generative adversial networks,带有辅助分类器的多层次结构生成对抗网络)用于动画人物头像生成。该网络模型由两个生成器和两个判别器堆叠而成,并在判别器中嵌入辅助分类器对生成结果进行约束,使生成样本方差变大,增加生成样本的多样性。为保证合成图像真实度和清晰度,引入特征图空间损失和图像像素空间均值方差损失以最小化合成数据和真实数据的距离。实验结果表明,多层次结构能够有效稳定训练过程,增加图像的边缘细节和局部纹理,同时辅助分类器有效解决模式崩溃问题,提高生成指定类别图像的准确率。ACM-GAN生成图像的FID分数达到27.96,相比于StackGAN++提升23.1%。

改进生成对抗网络及其在结构非线性模型修正中的应用

提出改进生成对抗网络(Generative Adversarial Network,GAN)并在结构非线性模型修正中成功应用。在改进的GAN中,通过引入代理模型的方式,增强网络判别器对非线性结构各节点响应关系特征的学习能力;为避免传统GAN存在的梯度消失问题,使用跳跃连接和密集连接等方式加强网络层之间的信息交流,并且通过引入组合目标函数,构建模型输入响应与输出参数之间的映射关系实现网络训练。在进行结构非线性模型修正时,结构的动力响应作为网络模型的输入,训练好的GAN模型能够根据输入数据的特征,输出非线性模型参数的最优值,从而实现结构非线性模型修正。通过对地震荷载作用下的12层钢筋混凝土框架结构进行数值模拟,验证了方法的可行性,并通过对比基于卷积神经网络的非线性模型修正结果,验证所提方法的优越性;最后进一步结合地震荷载作用下的悬臂铝梁振动台实验,验证了该非线性模型修正方法的可靠性。

多层次特征融合的对抗网络图像隐写

针对基于神经网络的图像隐写方法无法同时捕捉载体图像的纹理信息和语义特征,导致存在大量的信息丢失的问题,提出一种基于多层次特征融合的对抗网络图像隐写方法。通过在生成网络中添加多尺度卷积与池化操作对图像进行特征提取,使用跳跃连接融合多层次特征信息,利用隐写分析性能更先进的判别网络与生成网络进行对抗学习,生成嵌入修改图并模拟生成隐写图像。实验结果表明,在高维特征隐写分析与深度学习隐写分析检测下,该方法均具有更高的隐写安全性。与目前所提出的基于深度学习的隐写方法相比,综合安全性能提升3.8%。

基于Wasserstein生成对抗网络和残差网络的8类蛋白质二级结构预测

蛋白质二级结构包含充分的蛋白质信息,而且蛋白质二级结构是研究蛋白质三级结构和药物设计的基础,因此,本文提出了一种基于Wasserstein生成对抗网络(WGAN)和残差网络(ResNet)的蛋白质8态二级结构预测的方法。该方法首先通过Wasserstein生成对抗网络(WGAN)提取蛋白质特征,将其与PSSM结合成新的特征集合,然后将新的特征集合输入到残差网络(ResNet)预测并得到最终结果。经过实验,该方法在测试集CASP10-14和CB513中的Q8预测准确率分别为73.21%,72.43%,71.67%,69.83%,70.17%和73.89%。通过实验表明,Wasserstein生成对抗网络(WGAN)具有出色的特征提取能力,ResNet能够有效地训练深层网络结构,从而提高蛋白质二级结构的预测精度。

基于多层次分辨率递进生成对抗网络的文本生成图像方法

针对文本生成图像任务存在生成图像有目标结构不合理、图像纹理不清晰等问题,在注意力生成对抗网络(AttnGAN)的基础上提出了多层次分辨率递进生成对抗网络(MPRGAN)模型。首先,在低分辨率层采用语义分离-融合生成模块,将文本特征在自注意力机制引导下分离为3个特征向量,并用这些特征向量分别生成特征图谱;然后,将特征图谱融合为低分辨率图谱,并采用mask图像作为语义约束以提高低分辨率生成器的稳定性;最后,在高分辨率层采用分辨率递进残差结构,同时结合词注意力机制和像素混洗来进一步改善生成图像的质量。实验结果表明,在数据集CUB-200-2011和Oxford-102上,所提模型的IS分别达到了4.70和3.53,与AttnGAN相比分别提高了7.80%和3.82%。MPRGAN模型能够在一定程度上解决结构生成不稳定的问题,同时其生成的图像也更接近真实图像。

结构引导的渐进式生成对抗壁画修复

针对破损壁画图像修复过程中存在的结构修复不当及修复后壁画细节重构丢失等问题,提出了一种基于结构引导的渐进式生成对抗壁画修复深度学习模型。设计结构生成器对壁画缺失结构内容进行修复,得到修复的壁画结构图像。通过壁画生成器生成对抗学习,结合改进的双池化SKNet多尺度特征提取模块,利用修复后的结构图像引导破损壁画实现渐进式修复,以提高壁画的细节特征学习能力。通过局部判别器和全局判别器,完成对结构图像和壁画图像的重构判别,增强壁画修复效果的全局一致性。通过对真实敦煌壁画数字化修复的实验表明:所提方法能够有效修复破损的敦煌壁画,修复后的壁画具有更好的结构及细节信息,在主客观评价指标上均优于比较方法。

剪力墙结构智能化生成式设计方法:从数据驱动到物理增强

建筑结构的智能化方案设计是智能建造的重要内容。既有研究提出了基于深度神经网络的剪力墙结构生成式设计方法框架、智能设计算法、设计性能评价方法等,完成了从数据驱动到物理增强的智能化设计方法的发展,但目前尚未有研究针对不同设计条件下数据驱动和物理增强方法的设计能力进行详细对比,且基于计算机视觉与基于力学性能的评价方法尚未有明确的关系,难以有效保证计算机视觉评价方法的合理性。基于深度生成式算法对比和算例分析,开展数据驱动和物理增强数据驱动方法的详细对比,并进一步验证基于计算机视觉评价与基于力学分析评价方法的正相关性。结果表明:数据驱动的方法易受到数据质量与数量的约束,而物理增强数据驱动的方法设计性能更加稳定,基本摆脱数据质量和数量的约束;基于计算机视觉综合评价指标SCV的合理性阈值为0.5,对应力学性能差异约为10%。

基于生成对抗网络的砂岩薄片图像视野外重建

利用生成对抗网络(GAN)模型,对砂岩薄片图像的微观颗粒和孔隙结构进行视野外重建,并对预测图像的语义进行评价。结果表明,模型能够预测2.25倍于原始视野的砂岩微观结构,并且针对不同类型的岩石图像语义均具有良好的性能。模型对不同颗粒的表面纹理、颗粒形态以及多颗粒间复杂接触关系等语义的图像视野外预测结果与真实图像较为吻合。但是,在微观特殊现象图像的视野外重建任务中,模型缺乏对特殊现象的敏感性。在孔隙结构重建时,模型对微孔面孔率的预测误差大于粒间孔、裂隙和溶蚀孔等孔隙空间。不同孔隙空间重建图像的预测效果可能与孔隙特征(如孔径大小和连通性)有关。