[发明专利]手部关键点检测方法、装置、设备和介质

说明书

本公开提供了一种手部关键点检测方法、装置、设备和介质，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域。手部关键点检测方法包括：将待检测图像输入第一子模型，以获取第一子模型输出的第一预测结果和第一特征图，第一预测结果表征手部的每一个关键点的初步预测位置；基于第一预测结果，从第一特征图中获取第一关键点特征；基于第一预测结果，从待检测图像中获取第二关键点特征；将第一关键点特征和第二关键点特征输入第二子模型，以获取第二子模型输出的第二预测结果，其中，第二预测结果表征对每一个关键点的初步预测位置的修正；以及结合第一预测结果和第二预测结果，以得到手部关键点检测结果。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，特别涉及一种手部关键点检测方法、装置、设备和介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术。人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

随着社会的进步和科技的迅猛发展，短视频、直播、在线教育等行业不断的兴起，在各种交互场景中，基于手部关键点信息进行互动的功能需求越来越多。通过实现对视频或图像中的手部关键点检测，能够提升用户与电子设备的交互性，提高用户体验。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种手部关键点检测方法、装置、设备和介质。

根据本公开的一方面，提供了一种手部关键点检测方法，包括：将待检测图像输入第一子模型，以获取第一子模型输出的第一预测结果和第一特征图，其中，待检测图像包括手部，第一预测结果表征手部的至少一个关键点中的每一个关键点的初步预测位置；基于第一预测结果，从第一特征图中获取第一关键点特征，第一关键点特征包括与每一个关键点分别对应的特征；基于第一预测结果，从待检测图像中获取第二关键点特征，第二关键点特征包括与每一个关键点分别对应的特征；将第一关键点特征和第二关键点特征输入第二子模型，以获取第二子模型输出的第二预测结果，其中，第二预测结果表征对每一个关键点的初步预测位置的修正；以及结合第一预测结果和第二预测结果，以得到手部关键点检测结果。

根据本公开的另一方面，还提供了一种手部关键点检测模型的训练方法，手部关键点检测模型包括第一子模型和第二子模型，训练方法包括：获取样本图像并标注样本真实结果，样本图像包括手部，样本真实结果表征手部的至少一个关键点中的每一个关键点的真实位置；利用样本图像和样本真实结果训练第一子模型；将样本图像输入训练好的第一子模型，以获取第一子模型输出的第一样本预测结果和第一样本特征图，第一样本预测结果表征每一个关键点的初步预测位置；基于第一样本预测结果，从第一样本特征图中获取第一样本关键点特征，第一样本关键点特征包括与每一个关键点分别对应的特征；基于第一样本预测结果，从样本图像中获取第二样本关键点特征，第二样本关键点特征包括与每一个关键点分别对应的特征；将第一样本关键点特征和第二样本关键点特征输入第二子模型，以获取第二子模型输出的第二样本预测结果，其中，第二样本预测结果表征对每一个关键点的初步预测位置的修正；以及基于样本真实结果、第一样本预测结果和第二样本预测结果，调整第二子模型的参数。