[发明专利]图像中用户骨关键点标注方法、装置、存储介质及设备

说明书

本申请公开图像中用户骨关键点标注方法、装置、存储介质及设备，该方法包括：读取多帧图像或视频流中的第一图像；调用手掌检测模型对第一图像进行处理，在识别出第一图像中可能包含用户手掌时，输出第一图像中可能包含用户手掌的指示以及用户手掌所在局部区域的边界框参数；在监测到指示时得到第一图像中被边界框限定的第一局部图像；调用骨关键点标定模型识别第一局部图像中所有骨关键点，输出所有骨关键点坐标以及所有骨关键点构成合理手掌结构的第一概率；当第一概率大于预设阈值时，确定在第一图像中检测到用户手掌，以根据输出的所有骨关键点的坐标完成骨关键点标注。本申请解决现有技术中骨关键点标注方式准确性和实时性低的技术问题。

技术领域

本申请涉及人机交互技术领域，具体而言，涉及一种图像中用户骨关键点标注方法、装置、存储介质及设备。

背景技术

常见的图像中用户手掌骨关键点检测方法通常基于图像识别技术，即采用将图形输入一预先训练的模型来判断图像中是否存在用户手掌以及手掌中的骨关键点，而受限于图像识别的计算复杂性，这种手掌检测方式和骨关键点标注方式通常准确性和实时性都不高，因此无法应用于远程的、实时的触控识别方案。

针对上述现有技术中骨关键点标注方式准确性和实时性低的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像中用户手掌检测方法、装置、存储介质及设备，以至少解决现有技术中远程触控效果差的技术问题。

根据本申请实施例的一个方面，提供了一种图像中用户骨关键点标定方法，包括：从采集得到的多帧图像或视频流中读取第一图像，其中第一图像为多帧图像或视频流中的其中一帧图像，且在第一图像的前一帧图像中未检测到用户手掌；调用手掌检测模型对第一图像进行处理，在识别出第一图像中可能包含用户手掌时，输出所述第一图像中可能包含用户手掌的指示以及用户手掌所在局部区域的边界框参数；在监测到所述指示产生时，根据边界框参数对所述第一图像进行处理，得到所述第一图像中被边界框限定的第一局部图像；调用骨关键点标定模型对所述第一局部图像进行处理，识别所述第一局部图像中包含的所有手掌部骨关键点，输出所有骨关键点的坐标以及所有骨关键点构成合理手掌结构的第一概率，其中所述骨关键点包括分布在手掌根部区域以及每个手指上从指根到指尖区域内的多个骨节点；当判断出所述第一概率大于预设阈值时，确定在所述第一图像中检测到用户手掌，以根据输出的所有骨关键点的坐标完成骨关键点标注。

根据本申请实施例的另一个方面，提供一种图像中用户骨关键点标定装置，包括：读取模块，用于从采集得到的多帧图像或视频流中读取第一图像，其中第一图像为多帧图像或视频流中的其中一帧图像，且在第一图像的前一帧图像中未检测到用户手掌；第一检测模块，用于调用手掌检测模型对第一图像进行处理，在识别出第一图像中可能包含用户手掌时，输出所述第一图像中可能包含用户手掌的指示以及用户手掌所在局部区域的边界框参数；处理模块，用于在监测到所述指示产生时，根据边界框参数对所述第一图像进行处理，得到所述第一图像中被边界框限定的第一局部图像；第二检测模块，用于调用骨关键点标定模型对所述第一局部图像进行处理，识别所述第一局部图像中包含的所有手掌部骨关键点，输出所有骨关键点的坐标以及所有骨关键点构成合理手掌结构的第一概率，其中所述骨关键点包括分布在手掌根部区域以及每个手指上从指根到指尖区域内的多个骨节点；确定模块，用于当判断出所述第一概率大于预设阈值时，确定在所述第一图像中检测到用户手掌，以根据输出的所有骨关键点的坐标完成骨关键点标注。

根据本申请实施例的另一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任一实施例的方法。

根据本申请实施例的另一个方面，提供了一种设备，包括处理器，处理器用于运行程序，其中，程序运行时执行上述任一实施例的方法。