基于StyleGAN2-ADA和改进YOLO v7的葡萄叶片早期病害检测方法

为实现葡萄早期病害的快速准确识别,针对葡萄病害的相似表型症状识别率低及小病斑检测困难的问题,以葡萄黑腐病和黑麻疹病为研究对象,提出了一种基于自适应鉴别器增强的样式生成对抗网络与改进的YOLO v7相结合的葡萄黑腐病和黑麻疹病的病斑检测方法。通过自适应鉴别器增强的样式生成对抗网络和拉普拉斯滤波器的方差扩充葡萄病害数据。采用MSRCP算法进行图像增强,改善光照环境凸显病斑特征。以YOLO v7网络框架为基础,将BiFormer注意力机制嵌入特征提取网络,强化目标区域的关键特征;采用BiFPN代替PA-FPN,更好地实现低层细节特征与高层语义信息融合,以同时降低计算复杂度;在YOLO v7的检测头部分嵌入SPD模块,以提高模型对低分辨率图像的检测性能;并采用CIoU与NWD损失函数组合对损失函数重新定义,实现对小目标快速、准确识别。实验结果表明,该方法病斑检测精确率达到94.1%,相比原始算法提升5.7个百分点,与Faster R-CNN、YOLO v3-SPP和YOLO v5x等模型相比分别提高3.3、3.8、4.4个百分点,能够实现葡萄早期病害快速准确识别,对于保障葡萄产业发展具有重要意义。

基于StyleGAN的手写CJK文字生成方法研究

在目前关于手写字符生成的研究中,对于多语言手写字符的生成问题关注不多,并且汉语、日语、韩语(CJK)由大量字符组成,多数字形结构复杂,生成难度大。针对这一问题,设计了一种基于StyleGAN的手写CJK文字生成方法,可以对CJK手写字符进行生成。实验结果表明,所提方法可以实现手写CJK文字生成,使用训练过的Inception-ResNet-v2网络来评价生成结果,生成结果的准确率分别达到了81.46%、74.90%、78.53%。

基于StyleGAN的草图生成产品设计效果图方法研究

目的解决当前产品设计表达中存在对设计师要求高、设计思维具有局限性、设计周期长等问题。方法提出基于StyleGAN的草图快速生成产品效果图像的方法,该方法利用图像变形技术,将不同程度的产品草图生成真实产品效果图像。结果该方法可有效地满足设计师创作需求,也能为没有绘画基础的用户生成高质量的产品设计方案。结论将基于深度学习的StyleGAN模型应用于草图生成真实产品效果图像中,能快速、高效地完成产品设计表达过程,为产品设计表达提供了一个基于深度学习技术的参考框架,也是传统产品设计在人工智能时代的一次创新性探索。

基于Self-Attention StyleGAN的皮肤癌图像生成与分类

针对以黑色素瘤为代表的皮肤癌分类任务存在数据集各类样本数量、权重不均衡,且现有的对抗生成网络生成的皮肤癌样本图像质量较差导致临床诊断时难以分辨等问题,提出了一种基于自注意力的样式生成对抗网络(Self-Attention StyleGAN)与SE-ResNeXt-50相结合的皮肤癌图像样本生成与分类框架。该框架在样式生成对抗网络(StyleGAN)的基础上引入了自注意力机制,对生成器的样式控制和噪声输入结构进行了重新设计,并重构了鉴别器对图像生成器进行了调整,从而有效地合成高质量的皮肤癌病变图像。使用SE-ResNeXt-50来对皮肤癌样本图像进行分类,更好地提取样本图像不同层次特征图的信息,从而提高了平衡多类精度(BMA)。实验结果表明,该模型在ISIC2019皮肤癌数据集上生成的样本图像质量较高,且分类BMA达到94.71%。该方法提高了皮肤癌病变图像分类的准确性,帮助皮肤科医生对不同类型的皮肤癌病变进行判断和诊断,并对不同阶段和难以区分的皮肤癌病变进行分析。

基于StyleGAN的虚拟人脸生成技术

虚拟人脸生成技术是计算机视觉领域中备受关注的研究方向之一,随着深度学习的不断发展,基于各类生成对抗网络的虚拟人脸生成技术逐渐成了研究的热点。针对虚拟人脸生成技术的研究,提出了一种基于StyleGAN的虚拟人脸生成技术。算法包括训练和生成两个主要步骤。在训练阶段,采用了大规模的真实人脸数据集,结合StyleGAN的生成能力,训练出了高质量的虚拟人脸生成模型。在生成阶段,使用了训练好的模型,通过对输入噪声向量的调整以及预先对人脸的对齐,生成高度逼真的虚拟人脸图像。同时,通过引入一个Pix2Pix网络,提升了将图像映射到潜在空间的速度,大大改善了StyleGAN网络的缺点。为了验证提出的算法的有效性和优越性,进行了大量的实验和对比分析。实验结果表明,算法在生成虚拟人脸图像的逼真度、多样性和真实性等方面均有显著提高,同时还能够避免传统虚拟人脸生成技术中存在的一些缺陷和问题。

基于StyleGAN的图像反演算法综述

StyleGAN提供了有意义的潜空间,将真实图像反演(Inversion)到潜空间,再通过对潜空间的探索实现操纵真实图像,引起了众多研究者的关注,文章从基于反演方式和反演步骤两个角度分析总结了近年来图像反演算法的研究情况,并分析反演到不同潜空间的意义。

基于改进StyleGAN路面缺陷数据增强算法

针对复杂场景下路面缺陷数据样本少且图像质量差的问题,提出基于改进StyleGAN路面缺陷数据增强算法。在原有StyleGAN的基础上引入自注意力机制,以加强生成器对图像纹理细节信息的关注;引入SLE标签编码器以调节生成图像的纹理细节;增加噪声输入量,提升训练样本的复杂性和生成样本的多样性;采用WGANGP损失函数并调整模块分辨率来提高模型的收敛效率。通过消融实验、直观评价方法和量化评价方法分析评估模型图像生成质量,验证得出文中算法生成的路面缺陷图像质量较好,IS达到52.1,FID达到54.2;经4种经典目标检测算法测试,平均精度均值同原始数据集相比平均提升了30%左右,召回率提升了7%左右。

基于NS-StyleGAN2的鱼类图像扩充方法

图像多分类领域中经常出现类别不平衡问题,这会对分类模型的学习训练产生负面影响。通过对样本数量较少的类别进行扩充可以有效解决类别不平衡问题。生成对抗网络作为近年来新兴的一种神经网络,输入真实图像样本训练可以输出与真实样本非常相似的生成样本。根据此特性,本文结合第二代样式生成对抗网络(StyleGAN2)的设计思想与鱼类图像的特点,设计一种噪声抑制样式生成对抗网络NS-StyleGAN2(Noise-Suppressed Style Generative Adversarial Networks 2)。NS-StyleGN2去除了StyleGAN2合成网络中低分辨率层的噪声输入,从而抑制低分辨率层的噪声权重,使StyleGAN2生成样本细节特征更逼近真实样本特征。采用202张鲢鱼图像进行训练,本文提出的方法在起始分数、弗雷歇起始距离、内核起始距离得分等方面均优于DCGAN、WGAN、StyleGAN2,表明该方法可以有效进行图像扩充。

基于StyleGAN的可编辑高清人脸生成方法

人脸由于身份认证的特殊性,是众多计算机领域的研究对象。人脸生成任务不但可以扩展人脸数据集,还有广阔的商用价值。随着生成式对抗网络的蓬勃发展,人脸生成任务逐步转向了高清的人脸生成。本文针对人脸生成任务里的高分辨率人脸定向生成的子任务,提出了三种方法,分别面向易划分二分平面属性类别(如性别)的人脸定向生成、抽象属性类别(如黄种人、明星脸)的人脸定向生成和人脸属性编辑三种使用场景,最终实现了基于StyleGAN的可编辑高清人脸的定向生成模型,并使用CelabA、FFHQ两种开源数据集验证了模型的可靠性。

基于深度学习的StyleGAN2合成人脸识别系统

StyleGAN2合成人脸识别系统专门针对StyleGAN2合成人脸进行识别,可以识别出人脸图片是否由StyleGAN2合成而来。StyleGAN2合成人脸识别系统基于C/S(客服端/服务器)架构,系统的核心部分为部署在服务器上的识别模型,该模型的隐含层网络结构为深度学习中的卷积神经网络。识别模型经大数据的支撑下训练数次而得,训练后的模型准确率达到97.22%,交叉验证后的模型准确率达到98.33%,由此验证了基于深度学习可以识别出StyleGAN2合成人脸图片。

基于改进StyleGAN的高分辨率可控肖像视频风格迁移网络

肖像风格迁移是计算机视觉和图形学的一个重要领域。然而,当前很多肖像风格迁移算法在很大程度上未能捕捉到不同肖像风格的重要几何依赖。因为肖像风格迁移需要更注重特征的细化和风格的融合。与此同时,数据的稀缺性也是风格化的挑战之一,同时面向图像的方法在应用于视频时也会存在闪烁伪影等缺陷。针对肖像风格迁移,本文提出了基于改进StyleGAN的高分辨率可控肖像视频风格迁移算法HcpGAN(style transfer network for High-resolution Controllable Portrait video based on Style-GAN)。具体来说,HcpGAN由生成器和鉴别器组成,生成器采用内外双支路风格路径网络结构进行肖像风格迁移,分层式网络结构可以对风格程度进行可控与微调,通过扩张卷积对生成器第一层特征模块进行微调,解除了肖像输入固定裁剪限制。与此同时,在生成器的尾部集成处理视频帧的特征扭曲层,不使用额外的网络和光流预测,通过引入特征扭曲层直接对视频帧的时间一致性信息进行建模,从而输出时间序列平滑的风格化视频。在公开数据集上对比试验和消融实验显示,HcpGAN在当前肖像风格迁移算法中处于先进水平。

小样本药用玻璃瓶缺陷生成方法及应用

目的为了克服药包玻璃瓶缺陷样本不足带来的缺陷检测模型精度不准的问题,提出改进StyleGAN2-ADA的缺陷样本生成方法,提升模型鲁棒性。方法首先,基于StyleGAN2-ADA算法,在无缺陷图像集上训练网络模型并作为骨干。其次,在骨干网络上添加缺陷感知残差块,生成缺陷掩码,在少量的缺陷图像数据集上训练网络模型操纵掩码区域的特征,模拟缺陷图像生成过程,合成缺陷图像。最后,采用YOLOv7检测网络验证该样本生成方法的效果。结果实验结果表明,该方法在大量正常图像和少量缺陷图像基础上生成逼真且多样性的缺陷图像,应用该缺陷样本合成方法丰富数据集后,西林瓶缺陷检测平均准确率(mAP)达到97.3%,较原始数据集合和StyleGAN2-ADA算法分别提高了33.1%和4.1%。结论该图像生成方法可以在少量缺陷样本下生成高质量的缺陷图像,优化不均衡数据集,增强模型训练的稳定性,提高药用玻璃包装产品的质量和合格率。

结合Pixel2style2Pixel的年龄转化方法

年龄转化在刑侦、人脸识别等领域有着重要作用。常见的年龄转化方法需要使用成对带有年龄注释的数据集进行训练,并且存在生成图像质量低、年龄语义信息不够解耦等问题。针对上述问题,在Pix2style2Pix的训练框架中,引入年龄识别、contextual损失函数,对整体损失函数做出符合年龄转化的改进,提取年龄信息并保证图像质量。改进编码网络配合损失函数对潜在空间的图像进行编辑,提出一种基于Pixel2style2Pixel的年龄转化方法。通过FFHQ、CelebA数据集,对所提方法进行验证,实验结果表明,在不采用成对年龄注释的训练集下,改进后的损失函数能生成更符合期望年龄的转化图像,人脸相似度距离为0.346、FID为45.69、SSIM为0.593 6、PSNR为19.64 dB,均优于对比方法,证明所提方法能够生成高质量、年龄语义高度解耦的转化结果。

基于改进GFPGAN的墓室壁画盲人脸修复研究

针对墓室壁画人脸破损严重、纹理模糊不清、噪声较多等问题,提出了E-GFPGAN(Efficiency-Generative Facial Prior Generative Adversarial Network,E-GFPGAN),实现了墓室壁画人脸部分的盲修复.首先用StyleGAN3网络训练生成墓室壁画人脸,为网络提供丰富的壁画人脸先验信息;然后在退化移除模块添加跳跃连接,使用两层空洞卷积代替原有卷积,实现扩大感受野,保留壁画人脸的细节信息;最后将信道分割空间特征转换层(Channel-Split Spatial Feature Transform,CS-SFT)结构的卷积改为空洞卷积降低网络参数量.在自建墓室壁画人脸数据集上进行修复的实验结果表明,NIQE指标平均降低2.2%.证明了网络在墓室壁画人脸盲修复上得到了较好的修复结果.

基于YOLO v7-RA的火龙果品质与成熟度双指标检测方法

已有火龙果检测方法仅针对单一性能指标,难以满足农业真实场景的需要,为此提出了一种精准高效的火龙果品质与成熟度双指标检测方法。首先,利用自适应鉴别器增强的样式生成对抗网络扩充火龙果图像,建立复杂环境火龙果数据集。采用伽马变换进行图像增强,凸显火龙果特征,降低光照环境的影响。其次,提出了YOLO v7-RA模型。通过设计ELAN_R3替代ELAN(Efficient layer aggregation network)模块,减少主干网络对重复特征的提取,增强模型对细粒度特征关注度,提高双指标检测准确率。融入混合注意力机制(Mixture of self-attention and convolution,ACmix),增强模型对特征的提取和整合能力,降低杂乱背景信息干扰。最后,通过实验验证了YOLO v7-RA模型的检测性能。实验结果表明,该方法精准率为97.4%,召回率为97.7%,mAP_(0.5)为96.2%,FSP为74 f/s,实现了检测精度与检测速度的均衡。即使在遮挡情况下,YOLO v7-RA模型检测精准率仍达到91.4%,具有较好泛化能力,能够为火龙果智能化采摘的发展提供技术支持。

双重对比学习框架下近红外-可见光人脸图像转换方法

随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。

基于改进YOLOX的地下排水管道缺陷识别算法

CCTV检测技术在地下排水管道缺陷检测被广泛应用,但CCTV收集的缺陷图像需要依赖专业的检测人员进行检测识别,结果具有一定主观性且耗费大量时间。为了实现地下排水管道缺陷检测识别自动化,提出了一种基于改进YOLOX的地下排水管道缺陷识别方法。首先针对数据集过少的问题,通过StyleGAN2对原始图像进行预处理,生成多缺陷图像。其次,为了提高检测精度,对YOLOX的特征融合层进行改进,借鉴空洞空间卷积池化金字塔思想并引入SE注意力机制解决顶层特征仅包含单尺度特征且不与其它特征图进行融合的问题,同时设计了一种基于权重的特征融合模块,解决不同特征层融合带来的特征混叠问题。最后,将YOLOX边界损失函数改为CIOU,提高目标检测框回归的效率。实验结果表明,所提的算法能够很好对沉积、渗漏、树根入侵、裂缝和错口5种缺陷进行识别,mAP达到68.76%,相比原始YOLOX算法提升了1.62%。

基于深度学习的汽车造型设计工具研究

目的研究基于深度学习的汽车造型设计工具。方法使用交叉分类法对数据集进行整理并标记,形成全标签数据库,结合基于StyleGAN2的汽车图像生成模型,形成基于深度学习的汽车造型设计工具,并通过对比实验检验AI设计工具的生成速率和质量优劣。结果通过AI生成汽车造型的速率是一般设计师的数千倍,在质量比分中,AI生成的质量高于一般设计师。结论基于深度学习的汽车造型设计工具可作为汽车造型设计的新工具。

基于Swin Transformer和Style-based Generator的盲人脸修复

盲人脸修复任务是从低质量的图像(例如模糊、噪声和压缩图像)中恢复高质量的图像.由于事先不知道低质量图像的退化类型和退化参数,因此盲人脸修复是一个高度病态的问题,在修复过程中严重依赖各种先验指导.然而,由于面部成分和面部标志等面部先验通常是从低质量图像中提取或估计的,可能存在不准确的情况,这直接影响最终的修复性能,因此难以有效利用这些先验知识.此外,目前的主流方法基本都是依赖ConvNets进行特征提取,没有很好地考虑长距离特征,导致最终结果缺乏连续一致性.本文提出了一种改进的StyleGAN模型,命名为SwinStyleGAN,应用在高级视觉任务上表现出色的Swin Transformer来提取长距离特征,并通过改进后的类StyleGAN合成网络逐步生成图像.本文设计了一个空间注意力转换模块SAT来重新分配每个阶段特征的像素权重,以进一步约束生成器.大量实验表明,本文提出的方法具有更好的盲人脸修复性能.

基于深度学习的汽车设计造型要素研究

文章基于文献研究和界定基于深度学习的汽车设计造型要素定义,通过将专家提出的汽车造型要素和深度学习进行的设计活动匹配,从"直接影响-间接影响"两个角度,研究了基于深度学习的汽车设计造型要素关系,提出了特征面、汽车颜色、汽车质感、法律法规与人机工程、期望造型意向形容词和基本信息六大造型要素,分析不同生成式对抗网络生成汽车图像质量,选择StyleGAN得到机器设计的汽车造型并进行案例分析,总之,明确造型要素并以此描述数据是机器可控汽车造型图像生成的前期工作。