基于改进pix2pix的红外图像转换技术

针对不同波段图像获取代价不同的问题,提出一种基于pix2pix的图像转换方法并进行改进。主要针对生成器和鉴别器两方面进行改进。生成器方面,使用残差结构的生成器替换原来的U-Net生成器以缓解梯度消失问题;引入可变形卷积,提高目标边缘和小目标的生成效果;引入BAM注意力机制,提高了算法对图像中主要目标的特征提取能力以提升生成图像的效果。鉴别器方面:改变PatchGAN中卷积层的层数(原PatchGAN为3层卷积),设置对照实验找到转换效果最好的卷积层数。以可见光图像和红外图像之间的转换为例进行实验。实验结果表明,改进后的算法在生成图像上的均方根误差(MSE)下降了31.4%、结构相似性(SSIM)提高了11.2%,可以更好的实现红外图像和可见光图像之间的转换。

弦图插值结合UNIT网络图像转换的CT金属伪影校正

目的本文提出一种结合弦图域插值和基于非监督图像转换网络(UNIT)的伪影校正模型,提升图像的质量。方法将初步校正的图像与无伪影先验图像视为两个不同图像域内的元素,通过图像转换网络后可得到去除伪影的图像。采用仿真数据进行验证实验。采用PSNR与SSIM作为定量指标评估校正结果。结果在仿真数据的实验中,与对比的去除伪影的方法相比,本文提出的方法获得了更好的效果,本文提出的方案保留了图像更多的组织结构的细节。与ADN算法相比,在金属较小时本文算法的PSNR提高了2.4449,SSIM提高了0.0023,在金属较大时,本文算法的PSNR提高了5.942,SSIM提高了0.0139。在金属有两个时,本文算法PSNR提高8.8388,SSIM提高0.0130。结论本文提出的金属伪影校正的方法,可以有效去除金属伪影,并且提高图像质量,保留更多的组织结构细节。

基于图像转换的道路图像裂缝检测

深度学习是目前路面图像裂缝检测的主流方法,但是需要大量人工标注的真值图进行训练,而现实中获取人工标注的真值图既费时又费力,本文提出一种基于改进的生成对抗网络的路面图像裂缝检测方法,将路面图像裂缝检测问题视为一类基于图像跨域转换的异常检测问题,采用定点生成对抗网络将裂缝图像无监督自动转换为与之一一对应的无裂缝图像,进而将原图像与生成图像进行差分,差分图中的显著目标对应裂缝检测结果.在公开数据集CrackIT上的测试结果表明,本文方法在不依赖于人工标注的真值图条件下能够实现裂缝的精准检测,本文方法在准确率、召回率、F1分数上取得了与有监督深度学习方法相当的性能.

基于解耦内容-风格特征表示的图像转换研究进展

图像到图像转换(Image-to-Image Translation,I2IT)是在保留图像的内容特征条件下,将源域图像转换成目标域图像的过程,旨在学习不同域图像之间的映射。因I2IT应用广泛,如图像风格迁移、图像语义分割、图像修复和图像超分辨率等,图像转换任务一直是计算机视觉领域中研究的热点和重点,并在近年来因深度学习的蓬勃发展取得了显著进展。其中,基于解耦内容-风格特征表示的无监督模型是图像转换的重要方法。本文从内容表示和风格表示两方面梳理了此类模型的发展历程;总结了图像转换任务中常用的数据集和评价指标,同时比较了经典模型在不同数据集上的效果;最后对基于解耦内容-风格特征表示的无监督图像转换的研究进行总结与展望。

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.

闪烁体型γ射线-荧光图像转换屏点扩散函数理论研究

闪烁体型γ射线-荧光图像转换屏是数字化辐射成像系统中的重要部件,射线与闪烁体相互作用产生的荧光弥散效应,对成像系统及其获取图像的空间分辨具有重要影响。闪烁体型γ射线-荧光图像转换屏的荧光弥散效应通常采用点扩散函数(PSF)来描述。目前,采用蒙特卡罗(MC)方法进行模拟计算,仍是确定该函数的最常用和有效方法。以LSO无机晶体和ST-401塑料闪烁体为代表,研究影响闪烁体型γ射线-荧光图像转换屏PSF的主要因素,具体分析其随闪烁体厚度、入射射线能量的变化规律,以及闪烁体中散射射线对其PSF的贡献,为辐射成像应用提供参考。同时对所发现的现象和规律进行了理论解释。

基于动态感受野的自适应多尺度信息融合的图像转换

为提高图像转换模型生成图像的质量,该文针对转换模型中的生成器进行改进,同时探究多样化的图像转换,拓展转换模型的生成能力。在生成器的改进方面,利用选择性(卷积)核模块(SKBlock)的动态感受野机制获取和融合生成器中每个上采样特征的多尺度信息,借助特征的多尺度信息和动态感受野构造选择性(卷积)核的生成式对抗网络(SK-GAN)。与传统生成器相比,SK-GAN以动态感受野获取多尺度信息的生成结构提高了生成图像的质量。在多样化图像转换方面,基于SK-GAN在草图合成真实图像任务提出带引导图像的选择性(卷积)核的生成式对抗网络(GSK-GAN)。该模型利用引导图像指导源图像的转换,通过引导图像编码器提取引导图像特征,然后由参数生成器(PG)和特征转换层(FT)将引导图像特征的信息传递至生成器。此外,该文还提出双分支引导图像编码器以提高转换模型的编辑能力,以及利用引导图像的隐变量分布实现随机样式的图像生成。实验表明,改进后的生成器有助于提高生成图像质量,SK-GAN在多个数据集中获得合理的生成结果。GSK-GAN不仅保证了生成图像的质量,还能生成更多样式的图像。

双重对比学习框架下近红外-可见光人脸图像转换方法

随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。

一种基于FPGA的实时图像转换控制器设计

介绍了XGA标准,设计了一种基于FPGA的XGA标准图像实时控制器,它将PAL制式的电视信号转换成XGA格式的信号。重点讨论了图像数据的结构转换过程及控制器的内部结构。

辐射成像系统中图像转换屏与物镜耦合的分析

辐射成像系统中,射线沿闪烁体厚度方向产生的光经过镜头形成一个弥散的像。这通常是此类系统空间分辨的主要限制因素。建立了几何光学成像模型,描述了近心光路中此图像的空变特性。用点扩散函数均方根半径表征系统空间分辨性能,给出了图像点扩散函数均方根半径的表达式,其与闪烁体厚度、折射率、镜头相对孔径、成像倍率、射线入射点相对位置直接相关。将硅酸镥晶体3维发光强度分布与镜头进行耦合,分析了闪烁体发光强度分布对耦合的影响。采用点扩散函数均方根半径为最小的原则,建立了一个推导闪烁体相对于物镜放置在最佳位置的方法。

红外图像转换器传递函数测试方法

红外图像转换器是红外成像制导武器半实物仿真系统红外成像目标模拟器的重要组成部分,用于产生动态红外目标/干扰环境特性图像。图像传递函数是评价图像转换器性能优劣的一项综合性技术指标,包含了图像在不同等效黑体温度条件下,不同分辨率对应的图像调制度。叙述了红外图像转换器图像传递函数的定义和测试方法,用经过标定的热像仪和光学放大系统对红外图像转换器产生的图像进行放大,测试了亮、暗条纹的辐亮度,计算了条纹对的对比度。描述了红外热像仪的标定方法和使用注意事项,给出了256×256元MOS电阻阵列红外图像转换器图像传递函数的测试结果。该文可作为红外图像转换器性能考核的参考。

光纤阵列可见光/红外图像转换器的热力学性能研究

为满足日益提高的半实物仿真实验对目标背景图像源的要求,研究了一种微加工工艺制得的光纤阵列结构的可见光/红外图像转换器。建立了利用二次辐射原理实现可见光/红外图像转换的光纤阵列面板的三维模型,利用有限元热力分析光纤阵列温度响应的最高温度和时间特性随加载热量的关系,实验中,单个光纤阵列端面加载热功率为5μW时,转换器实现温度响应的最高温度超过420K,温度响应的上升和下降时间达0.1ms。结果表明:相比薄膜形式转换器,该光纤阵列结构的可见光/红外图像转换器在机械强度、耐高温等方面的性能有所提高,可以为红外成像半实物仿真实验提供高温高帧频的背景图像源。

基于特征向量变换GAN的多域图像转换方法

生成对抗网络(Generative Adversarial Nets,GAN)在图像翻译及多域图像转换方向已取得显著成功,但现有用于多域间图像转换的GAN大部分使用了多个生成器G及判别器D,导致网络训练参数量过大,数据集不能充分利用.针对以上问题,基于StarGAN和多模态无监督图像转换方法,提出基于特征向量变换的GAN模型.首先,将源图像编码成内容向量加特征向量的形式;然后将提取到的特征向量从源域转换到目标域而保持内容向量不变;最后完成图像重构.该模型仅使用一对生成器G和判别器D,有效地解决了上述问题.相较于现有模型,新模型不仅适用于多域图像转换,还可以从噪声生成指定图像.在CelebA数据集上的实验结果表明新模型与现有模型相比在多域人脸属性转换方面表现出更好的效果.

基于FPGA的机载多格式图像转换电路设计

为应对机载系统中图像信息类型日益复杂的需求,设计实现了一种基于FPGA的机载多格式图像转换电路。图像格式转换的传统处理方式大多为通过软件进行处理,这种处理方式不仅处理速度较慢,且资源占用较多,直接影响了系统的功耗、体积。Camlink接口标准作为解决视频图像传输的瓶颈而发展起来的通信接口技术,在现在机载系统中具有广泛的应用。文中结合机载应用需求,提出了一种基于Camlink接口的机载格式图像转换电路的设计结构,并分别阐述了Camlink接口图像采集、图像格式识别、图像转换处理、RGB向YUV的图像格式转化的电路设计。经仿真验证,设计满足应用需求。

当代数字化媒介艺术的图像转换

以信息网络技术为支撑的数字化媒介艺术,汇集了图形、影像、声音、文字等交互信息,其图像建构朝着动态化和交互式方向不断延伸,视觉、听觉、触觉、嗅觉等多种感官同时参与,不同的设计语言相互协同融汇成新的图像信息传播模式,图像的形式不只限定在单一媒体上,更趋于多向度的演绎,为图像的多样化扩张和集成化传播提供了更大的空间。它改变了人们的审美方式,激活了图像架设的创生性,也不断地刷新文化形态的符号印迹。

基于图像转换的全景平滑漫游技术

基于全景图的虚拟现实系统存在实现两个相邻视点空间的平滑过渡的问题,为此对目前全景漫游系统的现状及功能进行分析,利用计算机视觉技术,提出基于图像转换的全景平滑漫游技术。在过渡路径上采集照片,根据摄像机的成像模型,建立空间点和投影点的关联,确定图像在平移运动下的关系,合成非采样点的图像。实验结果表明,该方法获得了比较平滑的过渡效果。

动态红外图像转换电阻阵列技术发展

动态红外图像转换技术是建立红外成像制导系统集成与性能评定试验系统的关键技术,电阻阵列技术是动态红外图像转换技术的主要发展方向。介绍了红外成像制导系统实验室测试评估系统工作原理,并详细阐述了美国林肯实验室在该项技术的发展现状。

图像转换代理服务器及其在Internet中的应用

在Web服务器和客户机之间设置代理服务器,可以使不同性能的客户机浏览Internet的内容。通过分析图像在网页源文件中的表示方法,可以推断出图像在网页中的意义。根据图像在网页中的意义、客户机的性能、网络带宽和用户设置,代理服务器采用不同的转换方法和策略进行图像的转换,对图像重新编码,使转换后的图像适应于不同的客户机。

基于条件生成式对抗网络的图像转换综述

图像转换实现两个图像域之间的映射,源域图像经过转换得到目标域图像.随着生成式对抗网络(Generative Adversarial Netw ork,GAN)在计算机视觉领域的发展,图像转换越来越受到重视.结合条件生成式对抗网络(Conditional GAN)与深度学习中的其他图像处理技术,图像转换模型能够处理更复杂的跨域转换以及更具有针对性的实例转换等任务.该文从监督学习与无监督学习入手论述图像转换模型,其中监督学习包括一对一映射模型与多模态映射模型,无监督学习包括基于循环一致性约束的转换模型、实例级图像转换模型、基于潜在编码的转换模型、基于共享潜在空间的图像转换模型与基于特征分离的转换模型等,最后介绍常见的转换模型评价方法,并尝试探讨图像转换研究的热点与可能的发展趋势.