基于LpTransformer网络的手语动画拼接模型

手语动画拼接是一个热门话题。随着机器学习技术的不断发展,尤其是深度学习相关技术的逐渐成熟,手语动画拼接的速度和质量不断提高。将手语单词拼接成句子时,相应的动画也需要拼接。传统的算法在拼接动画时采取距离损失的方式寻找最佳拼接点,使用线性或球面插值的方式生成过渡帧,这种拼接算法不仅在效率和灵活性方面存在明显缺陷,而且生成的过渡帧也不自然。为解决上述问题,提出了LpTransformer模型来预测拼接位置和生成过渡帧。实验表明,LpTransformer的过渡帧预测精度达到99%,优于ConvS2S,LSTM和Transformer模型,且其拼接速度较Transformer快5倍。因此,所提模型能够实现实时性拼接。