基于Inception-CSA深度学习模型的鸟鸣分类

为进一步提高通过声音识别鸟类的精确度,本研究提出基于Inception-CSA深度学习模型的鸟鸣声分类方法,包含鸟鸣声音频样本预处理、特征提取、分类器分类等步骤。首先将鸟鸣声样本预处理成尺寸相同的梅尔频谱图,作为鸟鸣声特征图;其次利用Inception-CSA模型对鸟鸣声特征图进行特征提取,其中Inception模块提取鸟鸣声特征图中的多尺度局部时频域特征,CSA模块获取鸟鸣声特征图的全局注意力权重,将二者的输出结合得到更强的特征图,再次利用最大池化层对特征图进行下采样;最后利用全连接层进行分类,得到最终的分类结果。以采集的华南地区自然环境中的10种野生鸟类的鸣叫声构建数据集,用于实验部分以验证方法的有效性。结果表明,本研究提出的方法在自建数据集上准确率达到了93.11%,相比于基于其他经典模型的分类方法,基于Inception-CSA模型的分类方法在拥有较少模型参数量的同时达到了更高的准确率。

基于多视图集成的鸟鸣分类研究

【目的】尝试融合多视图特征来最大化特征信息,提出多视图级联集成卷积神经网络(MVC⁃CNN)鸟鸣音分类方法,构建泛化性较强的鸟鸣分类模型,以促进鸟类物种多样性保护和生态环境智能监测的深入研究。【方法】以16种鸟鸣音频数据为研究对象,采用短时傅里叶变换(STFT)、小波变换(WT)和希尔伯⁃特黄变换(HHT)等特征提取方法生成鸟鸣音的3类谱图以构成多视图特征数据,并作为卷积神经网络(CNN)的输入,训练不同视图的基分类器STFT⁃CNN、WT⁃CNN和HHT⁃CNN;分别采用Bagging和Stacking集成方法构建了多视图Bagging集成卷积神经网络(MVB⁃CNN)模型和多视图Stacking集成卷积神经网络(MVS⁃CNN)模型。以CNN强大的特征提取能力,提出了多视图级联集成卷积神经网络(MVC⁃CNN)模型,将不同视图经CNN提取得到的深度特征级联融合,以支持向量机(SVM)为最终分类器获得分类结果。【结果】构建的基分类模型WT⁃CNN、STFT⁃CNN、HHT⁃CNN的准确率分别为89.11%、88.36%和81.00%;多视图集成模型MVB⁃CNN和MVS⁃CNN的准确率分别为89.92%和93.54%,多视图级联集成模型MVC⁃CNN的准确率为95.76%。MVC⁃CNN模型准确率比单一视图基分类模型提升6.65%~14.76%,比MVB⁃CNN和MVS⁃CNN提升5.84%和2.22%。【结论】研究提出的MVC⁃CNN模型能充分结合鸟鸣多视图特征的优势,有效提升鸟鸣分类效果,具有较高的稳定性和更好的泛化能力,为多视图鸟鸣音分类研究提供技术方案。

基于自注意力机制时频谱同源特征融合的鸟鸣声分类

目前深度学习模型大都难以应对复杂背景噪声下的鸟鸣声分类问题。考虑到鸟鸣声具有时域连续性、频域高低性特点,提出了一种利用同源谱图特征进行融合的模型用于复杂背景噪声下的鸟鸣声分类。首先,使用卷积神经网络(CNN)提取鸟鸣声梅尔时频谱特征;然后,使用特定的卷积以及下采样操作,将同一梅尔时频谱特征的时域和频域维度分别压缩至1,得到仅包含鸟鸣声高低特性的频域特征以及连续特性的时域特征。基于上述提取频域以及时域特征的操作,在时域和频域维度上同时对梅尔时频谱特征进行提取,得到具有连续性以及高低特性的时频域特征。然后,将自注意力机制分别用于得到的时域、频域、时频域特征以加强其各自拥有的特性。最后,将这三类同源谱图特征决策融合后的结果用于鸟鸣声分类。所提模型用于Xeno-canto网站的8种鸟类音频分类,并在分类对比实验中取得了平均精确率(MAP)为0.939的较好结果。实验结果表明该模型能应对复杂背景噪声下的鸟鸣声分类效果较差的问题。

基于LPDMR-NET的鸟鸣声识别

为了高效且快速地识别自然环境中的鸟鸣声,提出一种基于轻量级逐点深度的多感受野注意力残差网络(LPDMR-NET)模型。首先,通过Mel滤波器生成Mel频谱图。接着,采用basicblock和downblock连接生成两层残差网络DBNet,堆叠DBNet作为鸟鸣声识别的主干网络,以提高训练速度。然后,利用逐点深度卷积网络(PDNet)提取频谱图特征信息,替代主干网络下采样模块,将两个残差模块的basicblock中的3×3卷积替换为分离分支块(DBB),引入不同的感受野,在复杂多分支结构下显著提高网络的识别性能。最后,在两个残差模块间嵌入轻量级高效置换注意力(SA)模块用于传递两层残差模块间的有效信息,增强频谱图波纹特征,进一步提高网络识别性能。在自建的30类鸟鸣声数据集Birdselfdata上的实验结果表明,该模型的识别准确率为96.82%、F1值为96.73%,在识别效率和准确性方面超越了对比模型。

High frequency components in avian vocalizations

Ultrasonic communication in vertebrates is attracting increasing research interest.To determine if ultrasonic vocalization is common in birds,we recorded their vocalizations with ultrasound detectors in the Dongzhai National Nature Reserve of Henan Province,China.We found varying degrees of high frequency components in the vocalizations of 14 species and in several of these species,the frequency of harmonics was up to the range of ultrasound.We suggest that more studies are required to determine whether the high frequency components in avian vocalizations have functions and what these functions are.In addition,the ability of birds to hear sounds in the high frequency range also requires re-examination.