基于混合知识蒸馏和特征增强技术的轻量级无解析式虚拟试衣网络

基于外观流的二维虚拟试衣技术存在着服装扭曲准确率低、纹理失真以及模型计算成本高等问题,提出了一种基于混合知识蒸馏和特征增强的轻量级无解析式虚拟试衣模型。首先,通过全局特征的融合与不同尺度下流场运算结果的校准,提出了改进后的外观流估计方法,提高外观流的估计精度;其次,采用知识蒸馏的方法对图像分割结果与虚拟试衣流程进行解耦,构建了基于深度可分离卷积的轻量级试衣网络;最后,提出了基于像素平均梯度的服装复杂度GTC指标量化分析服装的纹理复杂程度,以此为基础将VITON数据集划分为简易纹理集、较复杂纹理集和复杂纹理集。结果表明:提出的模型在图像质量评价指标(弗雷歇距离、感知图像块相似度、峰值信噪比、内核初始距离)上的分值较目前性能最优的模型均有所提升,能够有效提高服装扭曲准确度与试穿结果图像的质量,缓解服装纹理畸变与失真的问题,同时还拥有更小的模型尺寸和更快的运行推理速度。

基于三维人体姿态信息的协作式扩散试衣生成网络

为解决人体关节遮挡产生的试衣错误、试衣生成结果保真度低以及试衣前后人体形态保持不一致等问题,提出了一种基于三维人体姿态信息的协作式扩散试衣生成网络—3DM-VTON网络。首先,通过三维人体姿态估计模型重构二维人体图像对应的三维人体姿态信息,获取人体各部位的空间顺序。其次,利用多部件服装变形网络,根据服装部件的外观流场对目标服装各部位进行变形,并在人体部位空间顺序的指导下对各服装部件特征进行融合。最后,将人体全局特征与融合后的服装特征引入扩散网络,通过人体姿态控制模块与区域度判别器限制其生成自由度,保证试衣前后人体形态一致性,从而提升图像局部细粒度,获得高质量的虚拟试衣结果。将3DM-VTON网络与目前常用的二维虚拟试衣网络进行实验对比,结果表明:3DM-VTON网络在人体关节遮挡处的服装变形准确度更高,试衣结果更加清晰、自然和逼真,试衣前后人体形态保持更一致。3DM-VTON网络能够生成高质、多姿势的试衣结果,满足虚拟试衣用户更多的试穿需求,可以提升消费者在线购物体验度,助推服装电商行业发展。