[发明专利]一种基于深度条件随机场模型的多目标跟踪方法和系统

权利要求书

1.一种基于深度条件随机场模型的多目标跟踪方法，其特征在于，包括以下步骤：

(1)获取多目标跟踪数据集，其包含输入视频序列、以及输入视频序列中每一帧的检测响应；

(2)对输入视频序列的所有帧中任意两个连续帧的检测响应进行数据关联，以得到轨迹片，所有的轨迹片构成轨迹片集合T；

(3)根据步骤(2)得到的轨迹片集合中任意两个轨迹片之间的时间关系生成顶点，所有的顶点构成条件随机场模型的顶点集合V；

(4)计算步骤(3)得到的顶点集合V中每个顶点对应的两个轨迹片之间的匹配度，所有匹配度构成匹配度集合；

(5)根据步骤(3)得到的顶点集合V中任意两个顶点之间的时间关系和位置关系确定困难顶点对，所有的困难顶点对构成困难顶点对集合；

(6)获取步骤(5)中得到的困难顶点对集合中每个困难顶点对的外观特征和位置信息，将该困难顶点对的外观特征和运动特征组合成困难顶点对特征向量，所有的困难顶点对特征向量构成困难顶点对特征向量集合；

(7)将步骤(6)得到的每个困难顶点对特征向量输入LSTM网络，以得到每个困难顶点对的四个轨迹片中任意两个轨迹片之间的匹配度，所有匹配度构成匹配度集合；

(8)将步骤(4)得到的匹配度集合和步骤(7)得到的匹配度集合作为CRF模型的输入，进行全局推导，以得到顶点集合V中每个顶点中两个轨迹片之间的最优匹配度；

(9)在步骤(8)中获得的顶点集合V中所有顶点对应的最优匹配度中，找出最优匹配度大于匹配度阈值的所有对应顶点，并将这些顶点中的轨迹片关联起来，从而得到长轨迹片；

(10)对步骤(3)中与时间关系相关的参数进行更新，并重复上述步骤(3)至(9)，直到不能再生成长轨迹片为止。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，步骤(2)具体包括以下子步骤：

(2-1)针对输入视频序列中的任意两个连续帧，获取其检测响应的颜色直方图特征向量，以建立这两个连续帧的表观关联矩阵，表观关联矩阵中的每个元素代表这两个连续帧各自的检测响应之间的关联置信度，即两个检测响应属于同一目标的概率；

表观关联矩阵具体为：

其中，矩阵中的元素P_yz表示前一帧的第y个检测响应和后一帧的第z个检测响应之间的关联置信度，y∈[1，m]，且有z∈[1,n]，m表示前一帧的检测响应的总数，n表示后一帧的检测响应的总数；

(2-2)在步骤(2-1)中得到的表观关联矩阵中，查找在其所在行和所在列中均为最大值的所有元素，在查找到的多个元素中选出大于第一预设阈值的所有元素，并确定选出的每个元素所对应的一对检测响应；

(2-3)针对步骤(2-2)中选出的多对检测响应中的每一对而言，分别获取其检测响应的中心点坐标，根据确定的中心点坐标获取两个检测响应中心点之间的欧氏距离，并判断该欧氏距离是否大于第二预设阈值，如果大于，则表示这一对检测响应可关联，然后记录该对检测响应，否则重复执行本步骤，直到遍历完选出的所有多对检测响应为止；

(2-4)针对输入视频序列中的所有剩余帧，重复执行上述步骤(2-1)至(2-3)，从而得到多对可关联的检测响应，将这些可关联的检测响应对连接，以形成多个轨迹片构成的轨迹片集合。

3.根据权利要求2所述的多目标跟踪方法，其特征在于，对于轨迹片集合T中的任意两个轨迹片T_i和T_j，如果两个轨迹片在时间上满足以下公式，则轨迹片T_i和T_j可以组成一个顶点：

其中T_thr表示两个可关联轨迹片之间的最大帧间隔，和分别表示轨迹片T_j的起始帧和轨迹片T_i的结束帧，i和j的取值范围都是1到P之间的自然数，P为轨迹片集合T中轨迹片的总数。