基于前景区域生成对抗网络的视频异常行为检测研究

为提高视频异常行为检测的准确率,本文提出了一种基于前景区域生成对抗网络的改进方法。通过提取实际视频帧的前景和背景掩码,确定生成对抗网络输出视频帧的待检测前景区域。针对待检测前景区域,应用前景区域峰值信噪比准则,计算异常行为检测得分,完成视频异常行为检测。实验结果表明,本文的检测方法在Avenue数据集、UCSD-Ped1数据集、UCSD-Ped2数据集上均能有效提高视频异常行为检测准确率,并能降低检测运行时间。

基于生成式对抗网络和改进区域建议网络的输电线路杆塔缺陷检测方法

为了减少输电线路杆塔缺陷检测过程中受噪声信号和装置性能等因素的干扰,提高输电线路杆塔缺陷检测的正确率和检测效率。提出一种基于生成式对抗网络(generative adversarial networks,GAN)和改进区域建议网络(region proposal network,RPN)的输电线路杆塔缺陷检测方法。采用GAN采集输电线路杆塔的显著性图像,并利用半软阈值函数模型剔除图像中的噪声,避免噪声对缺陷检测过程产生影响。通过随机森林决策树提取输电线路杆塔图像的轮廓特征,基于多尺度算法对RPN进行改进,将特征输入到改进RPN模型中,通过缺陷的定位、分割完成输电线路杆塔的缺陷检测。试验结果表明,所提方法的输电线路杆塔缺陷检测正确率较高,具有较好的缺陷检测效果和检测效率,从而有利于提高输电线路杆塔缺陷检测的质量,减少电力事故的出现。

基于分层解耦区域生成网络的柔性电路板表面缺陷检测研究

柔性电路板在电子产品中的应用越来越多。针对柔性电路板表面缺陷检测问题,本文提出了一种基于分层解耦区域生成网络的柔性电路板表面缺陷检测方法,整个方法分为多层特征提取网络、多层解耦区域生成网络与分类回归网络三个部分,依据解耦思想采用了四个多重感受野融合模块,通过调节成不同长度参数使特征图的感受野大小符合模型预测需求,最终采用区域生成网络的输出候选框进行分类回归。通过实验仿真,验证了该方法的有效性,可精准识别常见的柔性电路板表面缺陷,检测精度较高,可推广使用。

基于改进特征融合和区域生成网络的Mask R-CNN的管件分拣研究

针对管件分割任务中各类管件区分难度大,光线和阴影对分割精度存在干扰等问题,提出了一种改进的掩膜区域卷积神经网络(mask region-convolutional neural network,Mask R-CNN)的管件分拣算法。通过增加低层特征图以改进特征融合网络,提高小型管件的识别率;根据管件尺寸比例改进区域生长网络的生成框,以加快模型收敛速度;增加通道和空间注意力模块,提升管件识别精度及掩膜效果。将改进后的Mask R-CNN用于四类管件的分拣任务,实验结果表明,改进后Mask R-CNN的掩膜检测平均精度均值(mean average precision, mAP)和平均召回率(mean recall, mRecall)值分别提高了1.5%和1.7%,对管件位置、类型和尺寸的判别能力更强,能够满足实际生产中机器人分拣管件的精度要求。

基于条件生成对抗网络的乳腺上皮和间质区域自动分割

乳腺病理组织图像中上皮和间质区域的自动分割对乳腺癌的诊断和治疗具有非常重要的临床意义。但是由于乳腺组织病理图像中上皮和间质区域具有高度复杂性,因此一般的分割模型很难只根据提供的分割标记来有效地训练,并对两种区域进行快速、准确的分割。为此,提出一种基于条件对抗网络(cGAN)的上皮和间质分割条件对抗网络(EPScGAN)模型。在EPScGAN中,判别器的判别机制为生成器的训练提供了一个可训练的损失函数,来更加准确地衡量出生成器网络的分割结果输出和真实标记之间的误差,从而更好地指导生成器的训练。从荷兰癌症研究所(NKI)和温哥华综合医院(VGH)两个机构提供的专家标记的乳腺病理图像数据集中随机裁剪出1286张尺寸为512×512的图像作为实验数据集,然后将该数据集按照7∶3的比例划分为训练集和测试集对EPScGAN模型进行训练和测试。结果表明,EPScGAN模型在测试集的平均交并比(mIoU)为78.12%,和其他6种流行的深度学习分割模型相比较,提出的EPScGAN具有更好的分割性能。

基于生成对抗网络的渐进式夜视图像彩色化算法

受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法,通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.

基于生成对抗网络改进的更快速区域卷积神经网络交通标志检测

针对小尺寸、远距离的交通标志检测过程中缺少信息的问题,以改进的更快速区域卷积神经网络(Faster R-CNN)检测器为基础,结合生成对抗网络(GAN)的目标检测算法实现对小目标交通标志的检测。Faster R-CNN首先根据期望目标设定合适的锚点数量,生成包含小目标的候选区域,再使用生成网络对候选区域中的模糊小目标进行上采样,生成高分辨率图像,最后使用分类损失函数与回归损失函数对判别网络进行改进。试验结果表明,Faster R-CNN和生成对抗网络相结合的检测算法可以提高远距离小目标交通标志检测性能。

面向列车轮轨接触区域图像分割的生成对抗网络

列车和轨道之间的开放约束条件决定了车辆脱轨的客观存在。轮轨接触区域边缘曲线分割对列车轮轨接触关系的研究具有重要意义,提出了一种基于生成对抗网络的轮轨接触区域边缘曲线分割算法。通过将残差模块引入生成器网络中,增强了网络对输出变化的敏感程度,进而更好的调整生成器权重。此外,膨胀残差模块的引入,有效扩大了特征图的接收区域。实验结果显示,改进的生成对抗网络对轮轨接触区域边缘曲线的分割准确度达到96.13%,敏感度、特异度、F1值、ROC曲线下的面积分别为83.90%、97.13%、83.67%和98.12%,验证了该方法能够准确分割轮轨接触区域边缘曲线。

基于区域生成网络的行人重识别算法优化

为解决行人重识别场景中图像背景噪声对行人特征提取的干扰问题,本文提出了一种基于区域生成网络(RPN)的行人重识别改进算法。使用RPN获取具有不同尺度信息的感兴趣区域(ROI),再通过感兴趣池化(ROI pooling)层实现ROI多尺度信息的协调统一,抑制了图像背景噪声对行人信息表征的影响;搭建了以全局特征、切块局部特征及基于RPN的ROI特征的多分支网络结构,增强了行人特征信息;在难样本采样的三元组损失上加入正样本的最小距离为类内距离,提高正样本之间的聚类性能;最后,结合了优化的三元组损失函数和交叉熵损失函数来监督训练,防止训练结果过拟合。为验证该方法的可靠性,在Market1501数据集上进行验证,本文方法在Market1501数据集上的Rank1精度为94.7%,mAP精度为85.8%,表明本文方法具有较好的行人识别效果。

应用卷积神经网络与RPN的交通标志识别

在智能交通系统中要求交通标志识别具有良好的鲁棒性、实时性,并且实际交通环境中可能因路标模糊、光照强弱、尺度大小、复杂背景等因素的问题,导致交通标志识别准确率很低。针对上述问题,提出了利用深度学习方法设计卷积神经网络,并通过卷积和池采样的多层处理,结合目标检测方法中的RPN网络结构,以提取图像的候选区域,从而对候选区域进行特征提取,最后利用全连接网络实现对特征图进行回归处理,获取检测目标的位置及识别。实验结果表明,该方法能有效地提高检测精度和计算效率,降低错误率,对于光照、旋转等不良因素下交通标志检测具有较好的稳定性和准确性,有效地提高了交通标志识别效率,具有良好的泛化能力和适应性,且满足一定的实时性的要求。

基于改进自生成神经网络的皮肤镜黑色素细胞瘤图像分割

针对皮肤镜黑色素细胞瘤图像,提出一种基于自生成神经网络(self-generating neural net-work,SGNN)的自动分割算法。算法首先采用区域生长的方法将图像进行粗分割;然后将每一个子区域看作一个叶节点,根据节点之间的相邻关系定义连接规则;最后采用SGNN对这些节点进行聚类,完成黑色素细胞瘤图像的分割。本文方法克服了传统SGNN算法对样本训练顺序敏感的缺陷,提高了效率,实验结果表明,该方法能够自适应确定聚类数目并准确分割黑色素细胞瘤图像。

一种可变锚框候选区域网络的目标检测方法

目标检测作为计算机视觉领域的热点问题,目前基于深度学习的目标检测方法可以分为2类:两步检测和一步检测,前者有着较高准确性,后者有着较好速度,但是为提高检测的性能两者都引入了锚机制。为提高目标检测系统的性能,基于深度卷积神经网络的两步检测算法引入了注意力引导(AG)模块,通过对候选区域网络(RPN)的锚机制进行引导,使得对于预选锚框形状的选择更具有多样性;同时针对传统的后处理方式非极大值抑制(NMS)算法存在的误检和漏检的问题,提出了一种置信度因子的NMS(Cf-NMS)算法,对于模型的整体性能有着很大的贡献。实验结果说明,所提方法虽然在速度性能上有略微的下降,但是无论是在RPN变体还是现有的先进算法在准确性方面都有提升。

基于改进RPN的Faster-RCNN网络SAR图像车辆目标检测方法

针对传统Faster-RCNN方法中候选区域生成网络(RPN)模块在进行目标检测时对目标特征提取不够充分的问题,提出一种基于改进RPN的Faster-RCNN网络SAR图像车辆目标检测方法.首先基于VGG-16网络提取出图片的多层特征,然后利用卷积核对最深的3个特征层作进一步的特征提取和正则化处理,最后对处理后的3个特征层进行信息融合.利用MSTAR数据集中车辆目标SAR图像和自然背景SAR图像,通过图像分割和贴图的方式制作了SAR场景数据集,对所改进网络进行训练和测试.实验结果表明,在SAR图像车辆目标检测中,与传统RPN相比,改进RPN收敛速度更快,不仅将检测结果的查准率从97.7%提高到了99.7%,虚警率明显降低,而且泛化性能更强,针对训练范围以外的目标,能将查准率由98.0%提高到99.0%.

有限元网格自动生成的并行区域划分算法

提出了一种基于网格生成递归法的并行区域划分算法，该算法依据网格生成代价的估算分析，采用迭代分解法对区域进行并行划分．在曙光１０００Ａ系统上的运行结果表明。

基于循环神经网络的正交网格的自动化生成算法

随着计算机图形学、工业设计、自然科学等领域的飞速发展,对高质量的科学计算方法的需求随之增大,而这些科学计算的方法离不开高质量的网格生成算法。对于常用的正交网格生成算法,是否能减少计算量以及是否能降低的人工干预等问题仍是它们所面临的主要挑战。针对这些挑战,对于单连通的目标区域,提出了基于循环神经网络之一的长短期记忆网络(LSTM)和Schwarz-Christoffel共形映射(SC映射)的正交网格自动化生成算法。首先,利用基于SC映射的Gridgen-c工具的基本条件将网格生成问题转换为一个带线性限制条件的整数规划问题。接着,利用预处理后的GADM数据集和LSTM训练获得能计算目标多边形区域每个顶点转角类型的概率的分类器。该分类器可以大幅度降低整数规划问题的时间复杂度,使该问题能被自动化且快速地求解。最后以简单图形区域、动画图形区域、地理边界区域为样例,进行网格生成实验。结果表明:对于简单图形区域,所提算法均能达到最优解;而对于具有复杂边界的动画图形区域和地理边界区域,实例网格结果表明,所提算法能使这些目标区域的计算量分别降低88.42%和91.16%,且能自动化地生成较好的正交网格。

基于图像-文本语义一致性的文本生成图像方法

近年来,以生成对抗网络(generative adversarial network,GAN)为基础的文本生成图像方法成为跨媒体融合研究的一大热门领域.文本生成图像方法旨在通过提取更具表征力的文本及图像特征,提升文本描述与生成图像之间的语义一致性.现有方法大多针对在图像全局特征与初始文本语义特征之间进行建模,忽略了初始文本特征的局限性,且没有充分利用具有语义一致性的生成图像对文本特征的指导作用,因而降低了文本生成图像中文本信息的表征性.其次,由于没有考虑到生成目标区域间的动态交互,生成网络只能粗略地划分目标区域,且忽略了图像局部区域与文本语义标签的潜在对应关系.为解决上述问题,提出了一种基于图像-文本语义一致性的文本生成图像方法ITSC-GAN.该模型首先设计了一个文本信息增强模块(text information enhancement module,TEM),利用生成图像对文本信息进行增强,从而提高文本特征的表征能力.另外,该模型提出了一个图像区域注意力模块(image regional attention module,IRAM),通过挖掘图像子区域之间的关系,增强图像特征的表征能力.通过联合利用这2个模块,使得图像局部特征与文本语义标签之间具有更高的一致性.最后,该模型使用生成器与判别器损失函数作为约束,以提升生成图像的质量,促进图像与文本描述的语义一致.实验结果表明,在CUB数据集上,与当前主流方法AttnGAN模型相比,ITSC-GAN模型的IS(inception score)指标增长了约7.42%,FID(Fréchet inception distance)减少了约28.76%,R-precision增加了约14.95%.大量实验结果充分验证了ITSC-GAN模型的有效性及优越性.

考虑网络约束和源荷不确定性的区域综合能源系统两阶段鲁棒优化调度

区域综合能源系统(regional integrated energy system,RIES)是泛在电力物联网和能源互联网实现的重要载体。分布式能源及负荷不确定性、多能源的网络约束及其耦合特性分析是RIES运行面临的主要挑战。针对配网级RIES,建立电-气-热能源系统的网络模型并提出线性化方法;考虑不确定性负荷和风电出力的极端场景,构建日前调度的两阶段鲁棒优化(two-stage robust optimization,TRO)模型,并借助列约束生成算法(column and constraint generation algorithm,C&CG)将模型反复迭代求解。算例分析结果证明了所建立的TRO模型在提升系统鲁棒性、风电消纳能力和抵御实时电价波动风险等方面的有效性,及在模型中考虑区域热网损耗对经济性和计算效率的改善。研究成果体现了RIES不确定性运行中的多能互补协调优化效益。

基于有效感受野的区域推荐网络

基于卷积神经网络的目标检测方法通过优化区域推荐达到较高的检测精度.由此,文中提出基于有效感受野的区域推荐网络.在区域推荐网络上引入基于有效感受野的样本匹配方法,强化基于交叠比的样本匹配规则,增强特征信息在区域推荐生成时的表征能力,减少锚定框和区域推荐数目,简化锚定框参数设置.结合快速区域的卷积神经网络检测器后,在Pascal VOC数据集上的检测精度有所提升,这表明文中方法是有效的.

关键人脸轮廓区域卡通风格化生成算法

针对人脸轮廓特征区域的局部化限定,结合关键特征点的提取和脸部邻近颜色区域的融合,并引入注意力机制,提出了一种基于CycleGAN的关键人脸轮廓区域卡通风格化生成算法,以此作为初始样本构建生成对抗网络(GAN)并获取自然融合的局部卡通风格化人脸图像。利用人脸轮廓及关键特征点进行提取,结合颜色特征信息限定关键人脸风格化区域,并通过局部区域二值化生成关键区域人脸预处理的采样图像;为了使生成图像能够自然匹配所提取特征区域,利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理,并相应地扩展风格化生成图像的过渡区域;最后通过构建基于无监督学习的生成对抗网络,使用训练数据集进行人脸图像局部轮廓特征区域的卡通风格化生成。算法对人脸轮廓区域的边缘及邻近区域颜色进行滤波处理,可实现良好的边缘轮廓过渡融合,生成自然的人脸局部轮廓区域的卡通风格化图像。实验结果表明,该算法对于人脸图像的生成具有很高的鲁棒性,能够应用于各种尺度人脸图像的风格化生成。

利用生成对抗网络的人脸图像分步补全法

人脸图像修复技术是近年来图像处理领域的研究热点,而人脸图像大面积缺失导致损失语义信息过多,一直是该领域的重点难点问题。针对这一问题,文中提出了一种基于生成对抗网络的图像分步补全算法。将人脸图像修复问题分为两步,设计两个串联的生成对抗网络,首先残缺图像通过预补全网络进行图像的预补全,预补全图像进入增强网络进行特征增强;判别器分别判断预补全图像和增强图像与理想图像的差异性;采用长短时记忆单元连接两部分的信息流,增强信息的传递。然后使用内容损失、对抗损失和全变分损失相结合的损失函数,提高网络的修复效果。最后在CelebA数据集上进行实验,结果显示,所提算法相较于对比算法在峰值信噪比指标上提高了16.84%~22.85%,在结构相似性指标上提高了10%~12.82%。