[发明专利]一种基于3D姿态的端到端交警手势识别方法和系统

说明书

本发明属于智能汽车的环境感知技术领域，涉及一种基于3D姿态的端到端交警手势识别方法和系统，包括以下步骤：S1获取交警视频图像；S2从交警视频图像中提取交警的2D关节点坐标和骨架；S3将建立2D到3D的转换关系，根据转换关系将2D关节点坐标和骨架转化成3D骨架图像，并重新确定3D关节点坐标；S4根据3D骨架图像和3D关节点坐标建立时空表征信息，将时空表征信息输入时空自适应图网络模型，获得交警手势识别结果。其能够对交警的3D姿态进行提取，不仅可以反映交警真实空间运动状态，也可以实时、准确地推断出交警的指挥方向。

技术领域

本发明涉及一种基于3D姿态的端到端交警手势识别方法和系统，属于智能汽车的环境感知技术领域。

背景技术

在交通场景中交警指挥信号优先级高于交通信号灯，在有交警介入的情形下车辆必须服从交警指挥。对于自动驾驶而言，识别并理解交警手势信号可以帮助车辆遵循交通秩序，提升自主驾驶安全性。我国交警指挥手势共有8种，准确识别理解交警8种指挥动作对于智能驾驶汽车及其重要。

目前基于人工智能技术的交警手势识别都是基于图片序列提取交警2D姿态，并针对提取的2D姿态进行时空特征的提取，而2D姿态则是将交警动作映射到2D平面上，并不能真实的反映出交警的空间动作和指挥方向，容易导致交警动作识别失误。

发明内容

针对上述问题，本发明的目的是提供一种基于3D姿态的端到端交警手势识别方法和系统，其能够对交警的3D姿态进行提取，不仅可以反映交警真实空间运动状态，也可以实时、准确地推断出交警的指挥方向。

为实现上述目的，本发明采取以下技术方案：一种基于3D姿态的端到端交警手势识别方法，包括以下步骤：S1获取交警视频图像；S2从交警视频图像中提取交警的2D关节点坐标和骨架；S3将建立2D到3D的转换关系，根据转换关系将2D关节点坐标和骨架转化成3D骨架图像，并重新确定3D关节点坐标；S4根据3D骨架图像和3D关节点坐标建立时空表征信息，将时空表征信息输入时空自适应图网络模型，获得交警手势识别结果。

进一步，步骤S3中2D到3D的转换关系的建立方法为：同时采集批量的交警三维动作信息以及视频图像信息；基于采集的交警三维动作信息，建立转换关系卷积网络，以完成二维关节点及骨架向3D空间映射的映射关系；以提取的2D关节点及骨架作为输入，以交警三维动作信息作为监督数据进行网络训练，获得最终的2D到3D的转换关系模型。

进一步，转换关系卷积网络包括若干组全卷积模块，全卷积模块包括两部分，每个部分均由卷积层、归一化、Relu激活函数和Dropout正则化组成，两部分之间通过全连接的方式连接，最后通过全连接层输出确定的3D关节点坐标。

进一步，时空表征信息由交警关节点的时空特征向量组成，t时刻交警某关节点p_i的时空特征向量表征为：

其中，分别为t时刻交警关节点p_i的横坐标、纵坐标以及深度信息，分别为t-1时刻交警关节点p_i的横坐标、纵坐标以及深度信息，为t时刻关节点提取的置信度大小。

进一步，时空自适应图网络模型包括自适应空间图网络和自适应时序图网络，自适应空间图网络根据人体结构，将同一帧图像的3D关节点连接成边，组成空间边L_s＝{v_it，v_jt|(i，j)∈B}B，从而组成一组自然连接的人体关节点坐标；自适应时序图网络将连续两帧中相同的关节点连接成边，组成时间边L_t＝{v_it，v_i(t+1)}，其中，v_it和v_jt分别为t时刻同一帧图像的第i个关节点和第j个关节点的坐标，v_i(t+1)为t+1时刻的第i个关节点的坐标，B是同一帧图像中所有关节点的集合。