[发明专利]基于深度迁移学习与XGBoost的混合鸟鸣识别方法

说明书

本发明提供了基于深度迁移学习与XGBoost的混合鸟鸣识别方法，通过计算log‑Mel频谱图的一阶差分系数和二阶差分系数，反映鸟鸣信号的变化过程，在保留物种有效信息的同时减少环境噪声等无关因素的影响，提升了识别鸟类物种的准确率；减少了环境背景噪声等无关因素的影响，有效识别了自然场景下的多种鸟类物种。本发明采用深度迁移学习微调VGG16模型构建特征提取器，提升了少样本训练数据下深度卷积神经网络的泛化能力，减少了参数训练，提升了运行效率。本发明将鸟鸣信号更准确的映射为鸟类物种，对自然环境中多种鸟类鸣声均具有良好的识别性能。

技术领域

本发明属于生态和人工智能技术领域，具体涉及基于深度迁移学习与XGBoost的混合鸟鸣识别方法。

背景技术

通过对自然环境下鸟类的识别与监测，统计区域生态环境中鸟类物种及分布状态，有利于生态学家分析研究动物的行为并掌握植物种类的丰富度，能够加强对区域生态环境的保护。自然环境中大部分场景下难以利用鸟类个体的图像特征进行识别，因此通过分析鸟类鸣声信号来自动识别鸟类物种受到研究者的广泛关注。

早期，基于模板匹配的方法通过衡量不同时间序列长度鸟鸣信号的相似度解决鸟类发音长短不一的问题达到准确识别鸟类物种的目的，该方法过于依赖鸟类个体原来的发音且无法对样本进行动态训练，难以应对自然场景下鸟类的发音易受个体生理因素以及环境场景的影响。一些研究者则探索基于鸟鸣特征建立分类模型的方法，其过程是先人工提取和选择合适的鸟鸣特征，再根据鸟鸣特征建立高效的分类模型进行识别。经过人工手动提取的鸟鸣特征多为静态的声学特征，对噪声敏感，易造成分类模型识别准确率低。近年来，计算机视觉技术的发展使得通过提取鸟鸣信号的时频域特征训练深度卷积神经网络模型对鸟类鸣声进行分类识别成为可能，深度卷积神经网络的特性可以克服音频信号的复杂多样性并且其强大的隐式特征提取能力可以自动获取并表征输入的鸟鸣信号，但现实中只能获取指定自然场景中少量的高质量鸟鸣数据，这限制了深度卷积神经网络通过鸟鸣信号描述鸟类物种的能力并且训练的网络模型容易产生过拟合，其次随着深度卷积神经网络模型深度的提高，惊人的参数量会耗费大量的时间和资源来训练。

发明内容

本发明要解决的技术问题是：提供基于深度迁移学习与XGBoost的混合鸟鸣识别方法，用于在自然场景下实时识别和监测鸟类物种。

本发明为解决上述技术问题所采取的技术方案为：基于深度迁移学习与XGBoost的混合鸟鸣识别方法，包括以下步骤：

S1：收集自然环境下的多种鸟类鸣声，每种鸟类鸣声信号包括多个时间序列相同的鸣声片段；建立基于自然场景设计和收集的鸟鸣音频库；

S2：对鸟鸣音频库的每个鸣声片段进行预处理获得短时平稳的鸣声信号，将每帧鸣声信号通过快速傅里叶变换后取绝对值的平方得到能量谱图；

S3：将能量谱图经过64阶梅尔滤波器映射为Mel频谱图，作为深度迁移学习与XGBoost混合鸟鸣识别模型的输入；对Mel频谱图取对数得到log-Mel频谱图；计算log-Mel频谱图的一阶差分系数和二阶差分系数获得动态声学特征；将一阶差分系数和二阶差分系数与log-Mel频谱图组合成为三维log-Mel频谱图；

S4：采用参数迁移微调在ImageNet数据集上预训练的深度卷积神经网络VGG16模型，得到针对鸟鸣信息的特征提取器，并提取三维log-Mel时频谱图的高维隐式特征；

S5：将三维log-Mel时频谱图的高维隐式特征按照一定比例划分为训练集、测试集和验证集；采用训练集训练XGBoost分类器，并在验证集上调整XGBoost分类器的参数，最后在测试集上将高维隐式特征映射为鸟类物种。

按上述方案，所述的步骤S1中，每个鸟鸣片段的时间序列长度为2秒，采样率为22.05khz，存储格式为.wav。

进一步的，所述的步骤S2中，具体步骤为：