[发明专利]基于ZED立体相机的行人空间信息感知方法及装置

权利要求书

1.一种基于立体相机的行人空间信息感知方法，其特征在于包括如下步骤：

步骤S1：获取立体相机实时图像数据，包括RGB图像数据和点云数据；

步骤S2：通过RGB图像检测人体关键点，得到行人的二维关键点信息，根据行人动态特性确定行人上半身主干区域，结合行人上半身主干区域的二维关键点信息，生成行人包围框，将行人包围框作为行人检测框；

步骤S3：根据二维关键点相似度特征和行人检测框，对连续多帧图像下的行人进行多目标跟踪；

步骤S4：对于持续跟踪到的行人，根据其二维关键点信息结合点云数据，获取行人三维关键点信息，计算当前帧下，行人相对于立体相机坐标系的空间位置坐标，并结合帧间隔计算行人移动速度，生成行人相对于立体相机的实时空间信息。

2.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S2中，获取RGB图像数据，采用人体关键点检测网络进行前向推理，输出关键点热力图和部分关联域，根据关键点热力图和部分关联域提取二维关键点并进行分组，将属于同一行人的二维关键点匹配到当前行人上，得到当前图像中每个行人的二维关键点坐标。

3.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3包括如下步骤：

步骤S3.1：根据行人检测框，获取行人运动特征；根据二维关键点相似度特征，获取行人的外观特征；

步骤S3.2：根据行人运动特征和行人的外观特征，得到当前t时刻下的行人实测状态信息；

步骤S3.3：将历史轨迹与t时刻下的行人实测状态信息进行数据关联，得到t时刻下每个行人的ID；

步骤S3.4：通过t时刻下每个行人的ID，更新历史轨迹。

4.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3.1中的二维关键点相似度特征，采用目标关键点相似性评价指标OKS进行相似度计算，并通过预设阈值判断二维关键点是否关联。

5.根据权利要求3所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S3.3中的数据关联，是对各帧进行运动特征和外观特征两种关联，进行线性加权，得到最终的关联矩阵，根据此关联矩阵采用匈牙利匹配算法得到各帧间行人匹配结果。

6.根据权利要求1所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S4包括如下步骤：

步骤S4.1：根据所述行人上半身主干区域，结合二维关键点置信度进行筛选，根据筛选后的二维关键点，获取点云数据，得到行人关键点的三维坐标集合；

步骤S4.2：对于每一个行人目标，根据其关键点的三维坐标集合，计算三维坐标均值作为行人目标的空间位置坐标；并根据欧式距离计算行人相对于立体相机的实际距离，根据当前时刻的行人空间位置坐标及上一时刻的行人空间位置坐标，计算在当前时刻与上一时刻的时间间隔下，行人相对于立体相机的移动距离，再结合所用时间，得到当前时刻下的行人移动速度。

7.根据权利要求6所述的基于立体相机的行人空间信息感知方法，其特征在于：所述步骤S4.2中行人移动速度公式如下：

其中，X、Y、Z分别为行人的三维空间位置坐标，i表示当前跟踪到的行人ID，t表示当前帧的时间，、、表示行人在当前帧下相对于立体相机的空间位置坐标，、、分别表示在时刻下相对立体相机的空间位置坐标，， m表示帧间隔数，f为立体相机帧率。