[发明专利]人机交互动作检测方法、装置、存储介质及处理器

说明书

技术领域

本发明涉及人机交互领域，具体而言，涉及一种人机交互动作检测方法、装置、存储介质及处理器。

背景技术

人机交互动作检测和分类是人机交互的一项基础技术，对于智能家居、安防系统和病人监护等人类与电子设备交互的场景中具有重要意义。例如医疗行业，在手势识别的帮助下，聋哑病人可以在护士不在时，通过一个摄像头和简单的手势将需求传达给医院，解决了独立电子设备配置昂贵和病人不会使用计算机等问题。

当前用于人体动作识别的方法为基于two-stream卷积神经网络的方法，其将含时间信息光流场和RBG图像同时输入卷积神经网络并进行信息融合，最终输出整段视频的类别标签。由于光流场含的时间信息局限于附近几帧，限制了结果的准确性，并且由于输出为一段视频的类别标签，需要逐帧对时间窗口进行滑动，计算了大量重复信息，限制了系统的效率和实时性。综上，现有技术中的人机交互动作检测存在准确度和效率较低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种人机交互动作检测方法、装置、存储介质及处理器，以至少解决现有技术中存在的人机交互动作检测准确度和效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种人机交互动作检测方法，该方法包括：根据预设多层卷积神经网络对目标图片进行检测，得到上述目标图片中存在的至少一个目标对象对应的类别以及上述至少一个目标对象对应的边框坐标；确定上述至少一个目标对象中置信度最高的上述目标对象为目标检测对象；将上述目标检测对象对应的上述类别和上述目标检测对象对应的上述边框坐标输入至预设多阶段回归卷积神经网络，进而根据上述预设多阶段回归卷积神经网络对上述目标检测对象进行人体关节部位的位置检测，得到上述目标检测对象中的上述人体关节部位的位置坐标；对上述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果，其中，上述检测结果中至少包括上述目标图片的类别标签。

进一步地，在根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测之前，上述方法还包括：根据预设损失函数和预设算法对上述预设多层递归神经网络进行训练，其中，上述预设损失函数为分类函数，上述预设算法为基于时间尺度的反向传播算法。

进一步地，上述根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果包括：根据上述预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片对应的多个类别以及上述多个类别中的每个上述类别对应的多个激活值；在预设时间窗内获取每个上述类别对应的上述多个激活值的平均值；将多个上述平均值中的最大平均值对应的上述类别确定为上述目标图片的类别标签，从而得到上述检测结果。

进一步地，在根据预设多层卷积神经网络对目标图片进行检测之前，上述方法还包括：获取预设摄像头中拍摄到的人体姿态视频图像；将上述人体姿态视频图像中的任意一帧图片确定为上述目标图片。

根据本发明实施例的另一方面，还提供了一种人机交互动作检测装置，该装置包括：检测单元，用于根据预设多层卷积神经网络对目标图片进行检测，得到上述目标图片中存在的至少一个目标对象对应的类别以及上述至少一个目标对象对应的边框坐标；第一确定单元，用于确定上述至少一个目标对象中置信度最高的上述目标对象为目标检测对象；第一处理单元，用于将上述目标检测对象对应的上述类别和上述目标检测对象对应的上述边框坐标输入至预设多阶段回归卷积神经网络，进而根据上述预设多阶段回归卷积神经网络对上述目标检测对象进行人体关节部位的位置检测，得到上述目标检测对象中的上述人体关节部位的位置坐标；第二处理单元，用于对上述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果，其中，上述检测结果中至少包括上述目标图片的类别标签。

进一步地，上述装置还包括：训练单元，用于根据预设损失函数和预设算法对上述预设多层递归神经网络进行训练，其中，上述预设损失函数为分类函数，上述预设算法为基于时间尺度的反向传播算法。