多任务学习在中国方言分类中的应用研究

近年来,随着深度学习技术在语音识别领域的出色表现,基于深度学习的语音识别系统被广泛应用于智能家居、智能客服、会议纪要、实时字幕等多个应用场景。但由于中国民族众多,语言文化差异大、方言多样复杂等特点,给语音识别系统带来了很大的挑战,特别针对短时语音段方言识别任务,已有的中国方言分类系统性能依然较差。针对特征参数梅尔倒谱系数(mel-scale frequency cepstral coefficients,MFCC)进行研究分析,面向中国十种方言数据集构建基于深度学习的方言分类模型。首先,针对MFCC构建基于短期记忆网络(long short-term memory,LSTM)的单任务学习模型,准确率可达79.04%;然后,深入挖掘方言地域特征,提出以方言所在区域为辅助任务的多任务模型,构建基于参数硬共享的多任务学习模型,实验结果显示,分类准确率最高可达79.96%;最后,针对参数硬共享无法有效挖掘子任务间关联性的问题,首次提出基于参数稀疏共享的多任务学习模型,该模型通过联合训练,自动挖掘子任务间相关性,裁剪多余网络,并进行网络参数共享,实验结果显示,提出的基于MFCC特征的参数稀疏共享的多任务分类模型性能最优,分类准确率最高可达83.59%。