[发明专利]一种车辆行驶过程中行人动作识别方法和系统

说明书

本发明属于智能汽车的环境感知技术领域，涉及一种车辆行驶过程中行人动作识别方法和系统，包括以下步骤：S1获取行人视频图像；S2从行人视频图像中提取行人的2D关节点坐标和骨架；S3根据2D关节点坐标估算行人的3D关节点坐标，并对3D关节点坐标进行归一化；S4将骨架和经过归一化的3D关节点坐标输入时空自适应图网络模型，获得行人识别结果。其不仅可以解决由于行人的身高、衣着，交通场景光照、动作种类多以及复杂度高等因素的影响，同时克服了车辆在行驶过程中，行人检测尺度变化的影响，有效提升行人动作检测精度。

技术领域

本发明涉及一种车辆行驶过程中行人动作识别方法和系统，属于智能汽车的环境感知技术领域。

背景技术

在车辆自动驾驶过程中，对行人的感知极其重要。其不仅需要对行人进行检测，而且还要进一步检测出行人的动作，从而更好的理解行人意图，帮助车辆做出最优决策，提升自动驾驶车辆的安全性、可靠性。

目前针对行人的行为识别一般基于静止车辆时对行人的动作识别，而自动驾驶车辆大部分的工作在运动状态，因此行人动作识别算法要在从行人尺度不断变化的图像中准确识别出行人的动作。实际中，行人动作有多种，而且不同行人动作幅度、频率也不尽相同，而现有的行人识别方法并不能够对行人幅度、频率差异较大的动作准确识别，所以在实际应用中，行人的行为识别还面临着较为严峻的挑战。

发明内容

针对上述问题，本发明的目的是提供一种车辆行驶过程中行人动作识别方法和系统，其不仅可以解决由于行人的身高、衣着，交通场景光照、动作种类多以及复杂度高等因素的影响，同时克服了车辆在行驶过程中，行人检测尺度变化的影响，有效提升行人动作检测精度。

为实现上述目的，本发明采取以下技术方案：一种车辆行驶过程中行人动作识别方法，包括以下步骤：S1获取行人视频图像；S2从行人视频图像中提取行人的2D关节点坐标和骨架；S3根据2D关节点坐标估算行人的3D关节点坐标，并对3D关节点坐标进行归一化；S4将骨架和经过归一化的3D关节点坐标输入时空自适应图网络模型，获得行人识别结果。

进一步，步骤S3中根据2D关节点坐标估算行人的3D关节点坐标的方法为：将2D关节点坐标输入至卷积网络，卷积网络包括若干组全卷积模块，全卷积模块包括两部分，每个部分均由卷积层、归一化、Relu激活函数和Dropout正则化组成，两部分之间通过全连接的方式连接，最后通过全连接层输出3D关节点坐标。

进一步，对3D关节点坐标进行归一化的方法为：通过坐标系转换，将物理坐标系下的行人的3D关节点坐标转换到以行人根关节点为原点的三维坐标系下；计算三维坐标系的尺度因子，将每帧3D关节点坐标除以尺度因子，得到随着车辆移动但尺度固定的3D关节点坐标。

进一步，尺度因子为行人的臀部到胸部之间的距离。

进一步，时空自适应图网络模型包括自适应空间图网络和自适应时序图网络，自适应空间图网络根据人体结构，将同一帧的关节点连接成边，组成空间边L_s＝{v_it,v_jt|(i,j)∈B}B，从而组成一组自然连接的人体关节点坐标；自适应时序图网络将连续两帧中相同的关节点连接成边，组成时间边L_t＝{v_it,v_i(t+1)}。

进一步，自适应空间图网络的构建方法为：将同一帧的关节点分为若干子集，并分别对子集中的关节点进行卷积操作，获得初始图卷积网络；构建初始图卷积网络的邻接矩阵以及度矩阵；根据行人视频图像对邻接矩阵进行训练得到结构特征矩阵A₁；抽取动作特征通过叉乘获得大小与邻接矩阵相同的动作特征矩阵其中k∈K，表示第k个子集划分，K为划分的子集总数；从而获得融合了人体结构和动作的特征矩阵

其中，λ是超参数，用于权衡结构特征和动作特征之间的重要性；