[发明专利]一种基于自注意力机制的哺乳仔猪多目标跟踪方法

说明书

本发明公开了一种基于自注意力机制的哺乳仔猪多目标跟踪方法，包括：S1、采集在栏哺乳仔猪视频，制作哺乳仔猪多目标跟踪的数据集，分为训练集与测试集；S2、改进TransTrack的网络模型，将训练集训练改进后的网络模型；S3、在测试集上，用训练后的网络模型输出仔猪检测与预测的跟踪结果；S4、设计黑暗区域自适应置信度匹配策略，找回黑暗区域的检测结果中的漏检目标；S5：设计基于历史帧标记的错检位置策略，避免检测结果中的错检。本发明解决了在栏哺乳仔猪跟踪过程中，仔猪全局特征提取能力不够，灯光出现的昏暗，以及仔猪与仔猪、母猪与仔猪之间的粘连遮挡，导致跟踪过程中，仔猪错检、漏检和id互换问题。

技术领域

本发明涉及视频多目标跟踪的技术领域，尤其是指一种基于自注意力机制的哺乳仔猪多目标跟踪方法。

背景技术

在猪场养殖业中，哺乳仔猪健康是保证养殖场收益的一个重要因素。仔猪运动行为监测，有利于及时发现异常，掌握健康状况。对猪只行为进行监测时，主要的方法是人工观察，这种方法主观性过大，费时费力。基于计算机视觉的哺乳仔猪行为识别方法，只需在猪场安装摄像头，通过智能算法分析视频中的仔猪行为，即可代替人工观察。而对于仔猪的行为识别，其多目标跟踪是关键基础。

在目前猪只跟踪方法中，公开号CN105913425A专利基于自适应椭圆分块和小波变换进行多猪轮廓提取，并进行跟踪。公开号CN109684953B专利利用背景差分和阈值分割等算法检测猪只，然后用粒子滤波算法进行跟踪预测。公开号CN113763429A专利使用YOLOv3进行猪只检测目标位置，并基于DeepSort进行猪只多目标跟踪。

在猪场的猪栏环境中，灯光条件复杂，母猪与仔猪、仔猪与仔猪之间存在粘连遮挡，会导致的仔猪检测-跟踪过程中，存在目标漏检与误检。因此，针对在跟踪仔猪过程中所遇到的问题，在TransTrack跟踪算法基础上，对TransTrack的算法网络进行改进，将其中的基础网络resnet50改为Botnet，提出了猪圈内黑暗区域自适应置信度匹配方法，以及基于历史帧标记错检位置方法，提高了猪场复杂环境中的仔猪跟踪精度。

发明内容

本发明的目的在于针对在猪场的复杂环境条件中的昏暗灯光，仔猪之间、仔猪与母猪之间的遮挡粘连造成的仔猪跟踪困难，提出了一种基于自注意力机制的哺乳仔猪多目标跟踪方法，可有效提高仔猪特征提取的能力，解决黑暗区域中的仔猪漏检，以及在跟踪过程中出现的id互换或错检问题。

为实现上述目的，本发明所提供的技术方案为：一种基于自注意力机制的哺乳仔猪多目标跟踪方法，包括以下步骤：

S1、采集在栏哺乳仔猪视频，制作用于哺乳仔猪多目标跟踪的数据集，将数据集划分为训练集与测试集；其中，将视频片段按帧率转换为图像，并使用labelme人工标注仔猪轮廓与对应id；

S2、对TransTrack的网络模型进行改进，将其中的基础网络resnet50改为带自注意力机制的BotNet，用于提高仔猪特征提取的能力，将制作好的训练集对改进的网络模型进行训练，得到训练好的网络模型；

S3、使用测试集对训练好的网络模型进行测试，输出当前帧的检测候选框，同时，根据上一帧跟踪结果Tracks_t-1，预测当前帧的跟踪结果Tracks_t，即得到测试集中的检测结果与预测的跟踪结果；

S4、设计黑暗区域自适应置信度匹配策略，用于在判定黑暗区域位置后，将黑暗区域的置信度阈值降低，在得到的检测结果中，找回黑暗区域的漏检目标；

S5、设计基于历史帧标记的错检位置策略，用于在检测结果中，若id数量大于设定的猪栏仔猪数量阈值，将id大于数量阈值的标记为错检，在后续帧的检测结果中去除基于历史标记为错检的结果，以得到准确的检测结果，提高跟踪精度。

进一步，所述步骤S1具体步骤如下：