基于Conformer的实时多场景说话人识别模型

为解决在多场景(跨域、长时以及噪声干扰语音场景)下说话人确认系统性能较差的问题,提出了一种基于Conformer构建的、实时多场景鲁棒的说话人识别模型——PMS-Conformer。PMS-Conformer的设计灵感来自于先进的模型MFA-Conformer。PMS-Conformer对MFA-Conformer的声学特征提取器、网络组件和损失函数计算模块进行了改进,其具有新颖有效的声学特征提取器,以及鲁棒的、具有较强泛化能力的声纹嵌入码提取器。基于VoxCeleb1&2数据集实现了PMS-Conformer的训练;开展了PMS-Conformer与基线MFA-Conformer以及ECAPA-TDNN在说话人确认任务上的性能对比评估实验。实验结果表明在长语音SITW、跨域VoxMovies以及加噪处理的VoxCeleb-O测试集上,以PMS-Conformer构建的说话人确认系统的性能比用这两个基线构建的说话人确认系统更有竞争力;并且在声纹嵌入码提取器的可训练参数(Params)和推理速度(RTF)方面,PMS-Conformer明显优于ECAPA-TDNN。实验结果说明了PMS-Conformer在实时多场景下具有良好的性能。

基于CNN与Transformer混合模型的口罩人脸识别方法

针对疫情背景下,因佩戴口罩导致普通人脸识别算法失效的问题,提出一种基于卷积神经网络(CNN)与Transformer混合模型的口罩人脸识别方法。结合了CNN与Transformer的优点,能够很好地处理局部和全局信息,使模型拥有更好的性能及泛化能力。在卷积模块引入空间注意力模块,加强模型对于鲁棒人脸特征信息的提取,使用Sub-center Arcface损失函数,进一步提高模型的分类精度。在人工合成的口罩人脸数据集和真实的戴口罩人脸数据集上的实验表明,本文模型能够同时有效处理戴口罩和不戴口罩人脸识别任务,拥有较小的参数量的同时,具备较高的识别精度。

基于不确定性学习的文本无关的说话人确认方法

说话人确认任务旨在判断注册语音与测试语音是否属于同一说话人。针对说话人识别系统提取的声纹特征通常会受到与身份信息无关的因素干扰进而导致系统的准确性严重下降的问题,提出一种基于不确定性学习(UL)的文本无关的说话人确认(TISV)方法。首先,在说话人主干网络中引入不确定性同时学习声纹特征(均值)和话语数据的不确定性(方差),以建模语音数据集中的不确定性;其次,通过重采样技巧得到特征的分布表示;最后,在说话人分类损失中引入KL散度正则化约束噪声的分布,从而解决计算分类损失过程中的退化问题。实验结果表明,当训练集为VoxCeleb1和VoxCeleb2开发集时,与基于确定性方法的Thin ResNet34模型相比,所提方法的模型在VoxCeleb1-O测试集上的等错误率(EER)分别降低了9.9%和10.4%,最小检测代价函数(minDCF)分别降低了10.9%和4.5%。可见,所提方法在有噪声、无约束场景下的准确度有所提高。

基于注意力及视觉Transformer的野外人脸表情识别

目前的人脸表情识别更关注包含面部遮挡、图像模糊等因素的野外图像而非实验室图像,且COVID-19的流行使得人们不得不在公共场合佩戴口罩,这给表情识别任务带来了新的挑战。受启发于最近Transformer在众多计算机视觉任务上的成功,提出了基于注意力及视觉Transformer的野外人脸表情识别模型,并率先使用CSWin Transformer作为主干网络。加入通道-空间注意力模块来提高模型对于全局特征的注意力。Sub-center ArcFace损失函数被用来进一步优化模型的分类能力。在两个公开的野外表情数据集RAF-DB和FERPlus上以及它们对应的口罩遮挡数据集上对所提出的方法进行了评估,识别准确率分别为88.80%、89.31%和76.12%、72.28%,提高了表情识别精度。

Survey Report on Urban Biodiversity: A Case Study of Riverside Greenway in the Administrative Office Area of Beijing Municipal Administrative Center

The rapid development of cities has changed and destroyed the original ecological habitats of animals and plants and caused a series of environmental issues,and people have gradually realized the importance of the stability of urban ecosystem.The 15^(th) Conference of the Parties to the Convention on Biological Diversity on 18 July 2021 called for greater awareness of biodiversity conservation,especially in cities.In this study,the biodiversity of riverside greenway in the administrative office area of Beijing Municipal Administrative Center was investigated by field observation and data statistical analysis.The information and status quo of typical plants and animals was surveyed from June 28 to July 23,2021,to study and analyze the construction of urban greenway habitat,food chain,food web and ecological chain.This study can provide basic data for biodiversity conservation of urban greenway,and provide various ways to judge the ecological environment status of the site from the perspective of habitat construction.