利用自相似性实现医学图像合成的生成对抗网络

基于深度卷积的跨模态医学图像合成网络具有从大规模数据资源中学习非线性映射关系以进行局部生成的优势,但现有方法忽略了医学图像具有特征自相似性的特点,仅通过卷积来提取像素级别的特征信息,导致深层特征提取能力不足和语义信息表达不充分.为此,提出了基于图注意力块(Graph Attention Block,GAB)和全局块注意力块(Global Patch Attention Block,GPAB)的生成对抗网络(Graph Attention Block and Global Patch Attention Block Generative Adversarial Networks,GGPA-GAN).其中,用图注意力块和全局块注意力块捕捉医学图像切片间以及切片内的自相似性,进行深层特征的提取.此外,在生成器中加入二维位置编码,利用图像的空间位置信息来增强语义信息的表达能力.在HCP_S1200数据集和ADNI数据集上的实验结果表明,提出的网络在3T-7T、T1-T2的脑部MRI图像合成任务中相较于其他网络取得了最优的结果.在3T-7T脑部MRI图像合成任务中,相比Pix2pix合成方法,该方法在峰值信噪比(Peak Signal-to-Noise Ratio)、结构相似性指数(Structural Similarity Index)和平均绝对误差(Mean Absolute Error)方面分别提升了0.55、0.007和6.55.在T1-T2脑部MRI图像合成任务中,相比Pix2pix合成方法,在PSNR、SSIM和MAE分别提升了0.68、0.006和8.77.这些结果充分证明了此方法的有效性,为临床诊断提供了有力的帮助.

基于彩色图像合成的互补线移条纹高动态范围三维测量

面对具有非朗伯表面的被测物体,条纹结构光三维测量技术往往由于图像过饱和或条纹对比度过低等测量动态范围不足的问题而无法获取完整、有效的三维形貌数据。为进一步提升结构光三维测量技术的适应性,本文提出一种改进的高动态范围三维测量方法。使用相较于正弦条纹更具鲁棒性的线移条纹作为编码图案,构建互补线移条纹序列的对比度模型,通过彩色相机各个颜色通道的强度响应差异,在单次曝光时间下依据最佳对比度自适应检测合成新的线移图像,排除由于动态范围不足引入的无效或误差数据。进一步利用背景归一化统一合成图像的不同通道分量的背景,进而通过互补线移条纹对线条位置进行精确定位,解调出准确的线移条纹编码信息进行三维重建。实验结果表明,与多曝光方法相比,图像采集时间减少了82%,总重建时间减少了59%。所提出的方法能够获取表面反射特性复杂的金属工件的线条编码信息,提升高动态范围三维测量的准确性和完整性,实现高鲁棒、高效率、高精度三维测量。

基于改进级联细化网络的语义图像合成

针对级联细化网络(cascaded refinement networks,CRNs)存在合成图像不完整、语义信息丢失、合成的图像颜色差异大的问题,提出一种改进级联细化网络的语义图像合成方法.在级联细化网络中用空间自适应归一化[spatially-adaptive(de)normalization,SPADE]代替层归一化,通过空间自适应的学习调节归一化层中的激活,从而使语义信息更加完整;引入平滑L 1损失函数,减少输出图像和对比图像间的颜色差异;引入可学习的空间自适应归一化,增加网络参数的存储容量,能够学习更多的语义信息,使合成的图像质量得到提升.在Cityscapes数据集和GTA5数据集上的试验结果表明:该方法的平均交并比和像素准确性分别比CRNs的提升了31.4%和7.4%,弗雷歇初始距离比CRNs的降低了16.3%.

一种全局信息增强的语义图像合成方法

语义图像合成是图像翻译领域一个重要的研究和应用方向,旨在利用输入的语义图像(如语义分割图、地图、线稿图等)生成与图像描述相符的真实图像。针对基于生成对抗网络(GAN)的语义图像合成任务由于缺乏全局信息导致生成图像特征模糊、纹理细节缺乏关联性的问题,基于pix2pix网络提出一种结合外部注意力机制改进的全局信息增强语义图像合成方法。首先,在U-net结构的生成器上采样阶段引入外部注意力机制,增强生成图像像素间的空间相关性;其次,在生成器上采样层使用深度残差模块,在提高生成图像质量的同时,增强生成图像的多样性;最后,鉴别器引入全局信息以增强鉴别能力。在cityscape、landscape、edges2shoes数据集上进行实验,改进后的方法相比基线模型在FID指标上分别提升了57.37、26.74和1.78。实验结果表明,该模型能够有效利用全局信息增强生成图像纹理细节的关联性,提高图像质量。

基于个性化原型的人脸衰老图像合成

本文提出了一种新的个性化人脸衰老图像合成方法.基于已建立的黄种人脸图像数据库,提出了一种基于人脸外轮廓局部曲率标准差的个性化原型匹配算法,通过计算出表征人脸的脸型特征点的局部曲率标准差,在人脸图像数据库中匹配找出多幅图像,进行纹理增强的原型合成,再通过形状和颜色变换模型实现了人脸衰老图像的生成,能达到皱纹增加、眼袋生成、皮肤光泽减退、毛发变花白等具有真实感的衰老合成效果.实验表明本方法能方便逼真地合成不同种类的人脸在不同年龄段的衰老图像.

一种基于数字图像合成的扩展动态范围方法

数码相机中CCD/CMOS图像传感器的饱和电流和背景噪音使得一次曝光很难超过60-80dB 的动态范围。根据人眼对灰度图像的识别特性,可以采用对相同景物二次不同曝光图像软件合成的算法来获取高动态范围的图像。实验结果显示,当景物画面各部分光照明显差别时,这种方法能有效地获得全部细节信息。

基于模型的头部运动估计和面部图像合成

文中讨论一种基于模型的头部运动估计和面部图像合成方法．首先建立了一个基于人脸几何模型的可变形三维面部模型，此模型可根据不同人脸图像特征修正特定人脸模型．为了使特定人脸模型与特定人脸图像相匹配，需根据变形模型修正人脸模型．文中采用自动调整与人机交互相结合的方法实现特定人脸模型匹配．在调整完模型形状之后，应用３个方向的面部图像进行纹理映射生成不同视点方向的面部图像．应用合成面部图像与输入面部图像最佳匹配的方法进行输入面部图像的头部转动方向估计．

复杂地质异常体地震子体相干和图像合成识别技术

本文运用地震子体相干和图像合成技术以三维地震资料中任意尺寸的子体为基本计算单元,采用多算子方法,将子体之间地球物理学特征参数的变化表征出来,实现地震属性间的相关性和地层的倾角及方位角多信息高分辨率检测,平均效应小,对地震数据的微弱变化也比较敏感。将相干、倾角和方位角三种属性的图像合成显示提高了数据体的空间视分辨率,更清楚地表征小断层或裂缝分布特征,定量地刻画复杂地质异常体的边界。应用文中所述技术有效地预测了A区块潜山油藏的裂缝发育规律和B区块曲流河河道的宽度。

采用自适应块拼接的北极海冰SAR图像合成

针对北极SAR地面实况数据难以获取这一现状,提出一种新的北极海冰SAR图像及地面实况图合成算法。该算法充分利用SAR图像块之间的相关性,使得合成图像在保留海冰不均匀纹理和多尺度结构特性的同时,更加有效地逼近了真实海冰SAR图像。算法基于区域后验采样,首先根据图像块的相似度自适应选取待合成区域大小,得到最佳匹配块;其次求出相邻块边界的最小误差切割路径,实现无缝拼接,消除了人工瑕疵。通过真实海冰SAR图像的实验表明,相比现有的算法,新算法能够合成更加真实的海冰SAR图像及地面实况图,对实现北极海冰SAR图像分割和分类算法的客观评价有着积极的意义。

变化光照目标图像合成的球调和方法

光照是真实感绘制技术中的一个关键因素。研究了朗伯反射的球调和表示,提出了一种基于球调和函数的任意光照目标图像生成方法。该方法在给定目标基图像及其对应光照属性的基础上,通过基图像数据矩阵的奇异值分解(SVD)分离场景环境光分量、反演计算场景反射率和表面法向量等。新光照条件下绘制图像时,采用四阶球调和函数拟合入射光和朗伯反射核计算直接光照；间接光照采用分离出的基图像环境光分量拟合。实验表明：该方法能够保证绘制精确度,适合复杂光照条件下的目标图像生成。

基于图像合成的ISAR欺骗干扰研究

要实现对ISAR的欺骗干扰,设计一个好的假目标信号尤为重要,其关键在于如何产生一个好的相位调制系数对截获对方ISAR信号进行调制。文中提出了一种新的相位调制系数,与已有的相位调制系数相比,它不仅理论表达式简洁更易工程实现,而且考虑了假目标调相位置因子,设计出的假目标信号携带信息更丰富、灵活性更大。理论分析和仿真结果证明了所提出相位调制系数是有效的。

图像合成在超声兰姆波层析成像中的应用

在兰姆波层析成像中,由于数据采集系统结构的局限性,致使所得数据不完全,从而引起重建图像的质量下降.图像合成是一种重要的增强图像信息的方法.将图像合成技术引入兰姆波层析成像中,在不同换能器布置方式下对含缺陷板材进行采样,并利用联合迭代重建(SIRT)算法重建缺陷,然后使用均值合成、平方根均值合成和几何均值合成法分别对所获得的图像进行合成.实验结果显示,合成之后的图像视觉上更接近于缺陷的真实形状,而通过对图像质量参数的定量化分析进一步证实了合成之后的图像质量得到显著改善.

一种新的图像合成方法

提出了一种新的图像分割与合成方法。对于图像的分割,提出了新的切割图法,先是手工把一些明显属于物体和明显属于背景的像素分割出来,然后设置了新的能量函数,求它取最小值时的分割结果。对于图像的合成,提出了梯度比较法,在保留物体基本颜色特征的同时,改变了物体的光亮度,使其与新背景的光亮度一致,从而合成图像的光照效果更真实。

基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.

保持纹理细节的无缝图像合成

为了解决传统图像合成方法在处理具有不同纹理特征的图像时产生明显边界的问题,提出新的图像合成框架.把图像分解为基本层和细节层,基本层解决边界处颜色的无缝融合;细节层实现边界处纹理细节的光滑过渡.算法流程为进行基本层的融合,合成新的细节层,新细节层添加到融合的基本层得到最终结果.通过计算一张权重图来指导新细节层的生成,权重图度量纹理特征的强弱和像素到边界的距离.实验结果显示:算法可以有效保证颜色的无缝融合,保持纹理的光滑过渡.相对于传统图像合成方法,该算法可以生成更真实的合成图像.

基于二值掩码图像的图像合成方法及其应用

提出一种图像合成算法.首先将源样本纹理根据其纹元的特点分成前景和背景,并生成相应的二值掩码图像;再将源样本纹理及其掩码图像通过变形方法生成多个相似的样本纹理,应用前景提取法将这些相似纹理中的前景提取出来,采用随机动态、交互合成或轨迹自动跟踪生成图像等方法输出到背景图像上;根据合成图像的动态二值掩码图像控制合成图像纹元前景的密度和轨迹合成方向.与其他算法相比,该算法仅用少量甚至一个样本纹理即能生成纹元形状略有不同的各种合成输出图像,实现了大自然中常见的纹元前景之间的相互遮挡效果.最后给出了若干实例.采用文中算法得到的输出图像具有生成速度快、真实感强,能按预定轨迹生成图案等特点,适用于自然场景、随机纹理或人造图案的生成.

基于模糊图像合成技术的MEMS平面微运动测试技术

随着微电子机械系统 (MEMS)研究的深入和产业化的需求 ,检测技术在其中的重要性越来越大 .基于机器微视觉的MEMS动态测试系统 ,利用模糊图像合成技术对MEMS的平面微运动特性参数进行提取和分析 .利用图像处理方法对MEMS谐振器做扫频和扫压测量 ,获得了MEMS器件的平面微运动特性 ,并对测量结果进行了分析和讨论 .由实验结果可以看出 ,这种方法有较高的测量精度 ,测量重复性误差为 10 0nm .

从多幅参考图像合成目标图像的逆映射算法

提出了一种从多幅参考图像来合成新视点目标图像的逆映射算法 .这种方法不但成功地填补了由于投影区域扩张而产生的第 1类空洞 ,而且还成功地填补了由于空间非深度连续物体相互遮挡而产生的第 2类空洞 ,从而方便地实现了虚拟环境中的漫游 .基于物体表面深度的连续性 ,提出了一种位移预测方法 .该方法可以从单幅参考图像获得逆映射过程中所需要的目标图像的位移信息 ,从而大大提高了算法的效率 .与通常的正向映射算法相比 ,该算法克服了多幅参考图像所带来的计算量成倍增长等问题 。

基于MapReduce模型的立体图像合成方法

随着多媒体信息的爆炸性增长,海量图像的快速处理逐渐成为当前的研究热点.针对单机模式下立体合成算法存在运行效率较低的问题,提出了一种基于Map Reduce模型的立体合成改进方法.首先利用分布式计算和云存储技术的优势,对立体合成算法进行并行化设计;然后通过视差自适应调整和边缘锐化,对原有合成算法进行优化,从而提高立体显示质量.实验结果表明:提出的方法能够很好地提高立体合成算法的运算速度,同时合成出的立体图像具有较好的立体显示效果.

变化光照的对象图像合成(英文)

光照是真实感图形绘制和许多图像应用中的一个非常重要的因素.提出了一种完全基于图像的方法来反映光照变化在绘制对图像时的影响.所提出的方法不是直接去估计对象反射模型中的参数,或是去拟合BRDF函数,而是用奇异值分解（SVD）来拟合Lambertian对象在光照和几何朝向变化情况下的所有图像集合.其中,光线方向的解析表达可以由样本图像、基图像以及已知类对象的图像集导出,对象在新的光线方向下的图像可通过适当地线性组合基图像而有效地绘出.另外,利用对SVD系数的线性插值可以生成反映对象几何朝向和光线变化的连续变形图像序列.特点是为表示给定对象的图像集以及合成新的图像提供了一种简单且紧缩的方法,较适合于基于图像的应用.