[发明专利]鱼群三维跟踪方法及系统

说明书

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及鱼群三维跟踪方法及系统。

背景技术

鱼类行为指鱼对环境变化所表现出的外在反应，包括鱼在自然条件或实验条件下的各种个体和群体行为。鱼类行为的研究对动物行为进化和渔业生产发展均具有重要意义。在各种研究鱼类行为的模式中，基于视频的模式由于简单易行，适用性广等特点，逐渐成为鱼类行为研究的一种重要模式。

采用基于视频的模式对鱼类行为进行分析，首先要用视频获取设备对鱼的运动状态进行记录，然后对视频图像中的每条鱼进行量化分析，得到它们的运动轨迹。传统方法一般通过在每帧图像中手动标注来得到这些轨迹信息，这种方式不但效率低，而且精度不高。近年来，随着计算机技术的发展，基于计算机视觉的鱼跟踪为研究者提供了新的有效途径，并逐渐成为研究的热点。

根据鱼所处环境的不同，基于计算机视觉的鱼跟踪可以分为二维跟踪和三维跟踪两种方式。二维跟踪将鱼限制在装有浅水的容器中，则鱼的运动可以近似为平面运动。这种方式虽然能够对鱼的行为进行分析，但跟踪仅限在二维空间中进行，难以全面描述鱼的运动行为。三维跟踪模拟鱼在自然环境中的运动方式，得到的轨迹数据更能反映鱼的真实行为，因而受到了更多研究者的重视。

在三维空间中跟踪鱼的运动轨迹属于计算机视觉中的多目标三维跟踪问题。它面临如下几个困难：鱼是一种纹理较少的非刚性目标，它在游动中会产生各种变化的形状，这为检测器的设计带来了困难；另外，鱼在游动中会出现频繁的相互遮挡现象，提高了检测的难度；基于双目视觉的三维跟踪会受到水面折射的影响，且较难处理跟踪过程中出现的遮挡问题。为了克服双目视觉的不足，使用多台相机从不同方向垂直于水面进行拍摄是一种较好的方案。但该方案又会因为目标在不同视角方向间的表观变化而导致立体匹配难度的增大；目标在遮挡过程中出现的分裂与合并现象为目标关联带来了极大的困难；此外，目标检测和立体匹配过程中出现的错误也会直接影响到目标关联的准确性。

虽然当前的跟踪方法可以在一些实验条件下得到鱼的三维运动轨迹，但并未完全解决以上问题。因此，三维空间中的鱼跟踪仍然是一个极具挑战性的问题。

发明内容

本发明正是基于上述问题，提出了鱼群三维跟踪方法及系统，可以提高目标跟踪的准确性。

有鉴于此，本发明的一方面提出了鱼群三维跟踪方法，包括：

对顶视方向和第v侧视方向的目标分别进行主骨架提取，其中，所述主骨架包括多个骨架点，v＝1或2；

在从所述主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示第v侧视方向的目标；

通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配；

根据所述主骨架的长度或端点数量区分匹配后的目标为遮挡目标和非遮挡目标，对所述非遮挡目标进行运动关联，并对所述遮挡目标进行匹配关联。

进一步地，所述“对顶视方向和第v侧视方向的目标分别进行主骨架提取”包括：

分别获取目标在顶视方向和第v侧视方向的图像；

基于背景差分法从所获取的目标在不同视角方向的图像分割出目标的运动区域，其中，所述运动区域包括多个像点；

基于快速行进算法从目标在不同视角方向的图像提取目标的主骨架。

进一步地，所述特征点包括：中心特征点、头部特征点和尾部特征点；所述“在从所述主骨架中筛选三个骨架点作为特征点后，根据目标表观的复杂度使用双特征点模型表示顶视方向的目标及使用三特征点模型表示两个侧视方向的目标”包括：

从所述主骨架中筛选最能代表目标形状特征的骨架点作为中心特征点；

在第v侧视方向上，使用所述主骨架的两个端点和中心特征点组成的三特征点模型表示第v侧视方向的目标；

在顶视方向上，根据骨架点到所述运动区域边缘的最短距离获取各骨架点的宽度；计算所述中心特征点分别到所述主骨架两个端点之间的所有骨架点的宽度的平均值，分别记作第一平均宽度和第二平均宽度；比较所述第一平均宽度和所述第二平均宽度，根据比较结果区分所述主骨架为刚性区域和非刚性区域，分别标定所述主骨架在所述刚性区域和非刚性区域内的端点为头部特征点和尾部特征点；使用头部特征点和中心特征点组成的双特征点模型表示顶视方向的目标。

进一步地，所述“通过极线约束对不同视角方向的目标进行特征点匹配，和/或通过轨迹一致性对不同视角方向的目标进行特征点匹配”包括：