[发明专利]一种基于深度学习的交警手势识别方法及无人车

摘要

本发明公开了一种基于深度学习的交警手势识别方法及无人车，包括以下过程：制作训练数据集、利用训练数据集中的数据离线训练深度学习网络模型、采集现场的交警手势、利用训练后的深度学习网络模型识别出交警手势、根据识别结果控制无人车遵循交警手势行驶。本发明基于深度学习方法提出的交警手势识别技术，仅依靠一个普通RGB摄像头和车载工作站即可自动识别出交警手势，无需复杂的外部设备，且对于不同环境下的交警手势识别都具有较高的准确率和识别效率。将该技术应用于无人驾驶车，可以使无人驾驶车具备自动识别交警手势并适应复杂多变的道路环境的能力，提升了无人驾驶车的智能性。

主权项

1.一种基于深度学习的交警手势识别方法，其特征在于，包括：(1)制作训练数据集：针对每一种交警手势采集多段视频数据，将每一段视频数据记作视频段V＝{F₀,F₁,...F_p,...F_n}，形成训练数据集；其中，F_p表示第p帧图像数据，每一个视频段V均对应单一语义的交警手势，并对相同交警手势所对应的视频段赋予同一指令标注；(2)离线训练数学模型：a、针对每一个视频段V，分别采用以下步骤生成对比结果：使用光流提取网络MotionNet模型提取出视频段V中相邻帧之间的光流特征图，形成光流特征集；根据光流特征集和视频段V中的帧图像数据，利用卷积神经网络VGG16模型计算出时间流特征图和空间流特征图；对时间流特征图和空间流特征图进行卷积融合，生成融合结果；将融合结果与视频段V所对应的指令标注进行对比，生成对比结果；b、计算对比结果的误差率，直到误差率降低到预期值以下时，停止训练，保存训练后的光流提取网络MotionNet模型和卷积神经网络VGG16模型；(3)识别交警手势：拍摄现场的交警手势，生成手势视频v；使用训练后的光流提取网络MotionNet模型提取出手势视频v中相邻帧之间的光流特征图，形成光流特征集；根据手势视频v中的帧图像数据及其对应的光流特征集，使用训练后的卷积神经网络VGG16模型计算时间流特征图和空间流特征图，并通过卷积融合生成手势识别结果。