融合音字特征转换的非自回归Transformer中文语音识别

基于自注意力机制的Transformer模型在语音识别任务中展现出了强大的模型性能,其中非自回归Transformer自动语音识别模型与自回归模型相比解码速度更快,然而语音识别速度的提升却造成了准确度的大幅降低。为提升非自回归Transformer语音识别模型的识别准确度,首先引入基于连续时间分类(Connectionist Temporal Classification,CTC)的帧信息合并,在帧宽范围内对语音高维表示向量进行融合,改善非自回归Transformer decoder输入序列的特征信息不完整问题;其次对模型输出进行音字特征转换,在decoder的输出读音特征中融合上下文信息,然后转换为包含更多字符特征的输出,从而改善模型同音不同字的识别错误问题。在中文语音数据集AISHELL-1上的实验结果显示,所提模型实现了实时性因子(Real Time Factor,RTF)0.0028的识别速度与字符错误率(Character Error Rate,CER)8.3%的识别精度,在众多主流中文语音识别算法中展现出较强的竞争力。

自适应独立性假设的非自回归Transformer语音识别

基于非自回归Transformer的端到端自动语音识别模型与自回归Transformer等传统模型相比拥有更快的解码速度,然而非自回归的解码方式与独立性假设导致了语音识别结果准确性的下降.为了解决此问题,提出了一种语音表征融合的自适应独立性假设非自回归Transformer端到端中文语音识别模型.在训练期间,通过对表征向量进行注意力融合,改善decoder输入帧语义信息部分缺失的问题;在解码期间,采用基于自适应独立性假设的解码策略,解决非自回归模型独立性假设带来的输出字符条件独立问题.最后,利用迭代式波束搜索进行多目标的排序搜索解码,解决波束搜索算法在提出模型上的不适用问题.在中文数据集AISHELL-1的实验结果显示,模型的实时性因子达到0.005,字错误率为8.8%,较非自回归Transformer基线模型降低了20%,在保证较高的识别速度的同时大幅降低了错误率,展现出先进的模型性能.

基于深度学习的图像去雾算法研究进展

图像是信息的重要承载形式。雾霾的出现降低了图像采集设备采集到的图像质量,容易出现色彩暗淡、对比度和饱和度降低、细节信息丢失等问题,直接影响了有用信息的表达和利用。目前对图像去雾的研究多采用深度学习的方法,卷积神经网络代替了人工特征提取方式,取得了优于传统算法的去雾效果,但普遍存在着对真实世界雾霾图像和清晰图像对的依赖。无监督学习的方法带来了新的解决思路。从监督学习和无监督学习的角度对有代表性的深度学习图像去雾算法进行分类,归纳了常用的数据集、评价指标,概括分析了有影响力的去雾模型的核心思想,总结了各算法的优缺点和适用场景。针对目前工作存在的不足,探索了下一步研究的方向。