改进的PF-AFN在虚拟试衣中的应用

针对PF-AFN中预测外观流精度欠缺和网络泛化能力较差的问题,提出改进的虚拟试衣网络.首先,增加目标人体预测模块,通过预测目标人体解析图像解耦形状与纹理;其次,依据仿射变换的共线特性,增加共线性损失项以约束形变过程,根据外观流的特性添加距离损失,弥补PF-AFN对局部区域约束不足的缺陷;最后,将生成的人体解析图像与原输入按通道拼接作为图像生成网络的输入,使用基于ResNet的类UNet++图像生成网络得到最终的试衣图像.基于VITON数据集,与其他4种最新方法进行对比实验,实验结果表明,该方法在图像相似度评价指标SSIM,FID和LPIPS上分别比其中最优方法提升了1.2%,11.1%和5.8%,图像清晰度和多样性评价(IS)与当前最优方法相当.从整体来看,所提方法改善了原网络中存在的问题,并取得了较好的视觉效果.

基于GAN的人体姿态生成研究综述

人体姿态生成是指不改变源人体外观,生成参考人体姿态的技术。由于姿势转移过程中的身体变形和不同视角带来的不同外观,其生成过程较为复杂。该技术可归纳为基于图像和基于视频两种途径,对于前者以人体建模的方式为依据,将其分为基于姿态关键点的人体姿态生成、基于外观流的人体姿态生成以及基于网格的人体姿态生成,并介绍了其中的典型模型,最后指出人体姿态生成中的问题,未来在模型优化、数据集构建等方面还需要更深入的研究。

基于混合知识蒸馏和特征增强技术的轻量级无解析式虚拟试衣网络

基于外观流的二维虚拟试衣技术存在着服装扭曲准确率低、纹理失真以及模型计算成本高等问题,提出了一种基于混合知识蒸馏和特征增强的轻量级无解析式虚拟试衣模型。首先,通过全局特征的融合与不同尺度下流场运算结果的校准,提出了改进后的外观流估计方法,提高外观流的估计精度;其次,采用知识蒸馏的方法对图像分割结果与虚拟试衣流程进行解耦,构建了基于深度可分离卷积的轻量级试衣网络;最后,提出了基于像素平均梯度的服装复杂度GTC指标量化分析服装的纹理复杂程度,以此为基础将VITON数据集划分为简易纹理集、较复杂纹理集和复杂纹理集。结果表明:提出的模型在图像质量评价指标(弗雷歇距离、感知图像块相似度、峰值信噪比、内核初始距离)上的分值较目前性能最优的模型均有所提升,能够有效提高服装扭曲准确度与试穿结果图像的质量,缓解服装纹理畸变与失真的问题,同时还拥有更小的模型尺寸和更快的运行推理速度。