[发明专利]一种基于特征融合网络的野生动物视频目标检测方法

说明书

本发明公开了一种基于特征融合网络的野生动物视频目标检测方法，包括：采集和标注野生动物图像和视频数据；进行形态变换、色彩变换和轮廓破坏预处理；依次将预处理完成的图像和视频数据输入特征提取网络中得到多尺度特征；对提取到的多尺度特征进行特征融合，对于视频数据融合多尺度特征和相邻图像帧的同尺度特征，对于图像数据仅融合多尺度特征，最后得到多尺度融合特征；将多尺度融合特征输入到特征预测网络中，得到预测结果；在训练阶段将预测结果和标签对比，计算损失函数，进行梯度反向传播，完成模型参数更新，直到网络收敛；在推理阶段，将预测结果经过后处理，得到最后的输出结果。

技术领域

本发明涉及一种视频目标检测方法，特别是一种基于特征融合网络的野生动物视频目标检测方法。

背景技术

野外环境中野生动物种群发现和统计一直是环境保护中的重要课题之一，通过分析野生动物当前分布状态、活动状态等数据，可以帮助专家了解保护区当前物种多样性，生态环境现状等重要信息，有助于进一步实施环境保护工作。传统通过环境保护从业人员身临野外保护区抓拍野生动物，然后统一交由专家识别并统计目标的方式需要大量的人力物力，时间周期也较长。

视频目标检测算法是在视频的每一帧图像上做目标检测，用于确定图像中感兴趣的目标，标识出目标的类别和位置，例如检测出图像中是否有野猪并且标出野猪在图像中的位置信息。由于视频中的图像帧会出现模糊和特殊姿势等情况，发展成熟的静态目标检测直接应用在视频目标检测任务上往往得不到很好的效果。

常见的视频目标检测算法主要包括基于跟踪、基于特征传播和基于光流的多帧聚合方法。其中基于跟踪的方法在前期将检测和跟踪结合在一起，不再将检测器和跟踪器预测的两组边界框聚合在一起，而是通过基于目标检测器的输出，在先前帧计算的轨迹上生成一组单独的边界框。基于特征传播的方法只在稀疏关键帧上运行深层卷积神经网络，随后将提取到的特征经过另外一个浅层神经网络传播到其他非关键帧。基于光流的多帧聚合方法则是计算每一帧提取到的特征信息，然后计算相邻帧特征信息之间的变换，经过一系列加权求和得到最后的结果，当前帧将受益于之前的帧。

上述提到的所有视频目标检测算法需要用到的训练数据都是标注好的视频，然而实际应用中标注视频数据工作量巨大，成本很高。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于特征融合网络的野生动物视频目标检测方法。

为了解决上述技术问题，本发明公开了一种基于特征融合网络的野生动物视频目标检测方法，包括如下步骤：

步骤1，采集野生动物视频和图像数据Data_bird，并标注得到完整包含目标的最小矩形框的左上角坐标值和长宽值，以及目标的类别信息，组成标签Label_bird；

步骤2，对采集到的野生动物数据Data_bird进行数据预处理，其中对采集到的图像数据进行形态变换、色彩变换和轮廓破坏预处理，对采集到的视频数据进行轮廓破坏预处理，得到预处理完成的数据集Data_preprocess；

步骤3，将预处理得到的数据集Data_preprocess输入到特征提取网络Model_sele进行特征提取，得到多个尺度的特征即多尺度特征FM_select；

步骤4，将多尺度特征输入到特征融合网络Model_fuse，进行特征融合；对于数据集Data_preprocess中的视频数据融合相邻图像帧同尺度特征和同一图像帧的不同尺度特征，并保存每一帧融合后的特征；对于数据集Data_preprocess中的图像数据仅融合该图像不同尺度特征，最后得到多尺度融合特征FM_fuse；