[发明专利]直播间的人手运动捕捉方法、装置、介质以及计算机设备

说明书

本申请实施例涉及网络直播领域，提供一种直播间的人手捕捉方法、装置、介质以及计算机设备，方法包括：构建人手运动捕捉模型，且通过人手训练样本以及人手重建模型对构建的人手运动捕捉模型进行训练，获得训练后的人手运动捕捉模型；获取直播间主播用户的单目RGB图像；将单目RGB图像输入至人手检测模型，获得人手图像；将人手图像输入至训练后的人手运动捕捉模型，获得人手运动参数；将人手运动参数输入至人手重建模型，获得重建后的三维人手网格图像；根据三维人手网格图像，获得重建后的二维人手图像，从而无需输入深度信息，只需要单目RGB图像，通过人手运动捕捉模型和人手重建模型就可以快捷地捕捉人手图像，而且，可以提高人手捕捉的准确度。

技术领域

本申请实施例涉及网络直播技术领域，特别是涉及一种直播间的人手运动捕捉方法、装置、介质以及计算机设备。

背景技术

随着网络通信技术的进步，用户可参与的线上娱乐项目越来越多，其中，网络直播由于实时性强且交互性强的特点，更是受到越来越多用户的喜爱。

在网络直播中，虚拟主播得到了广泛应用。虚拟主播直播是真实主播用户选定虚拟人物形象后，通过实时捕捉真实主播的形象和动作特征等，从而进行实时的虚拟人物合成，以虚拟人物作为主播的直播。虚拟主播直播可以做到实时根据主播用户的语言、动作进行实时合成和答复，与直播群体互动，它通过逼真地模仿、重现真人的各种复杂表情和动作，以达到理想的虚拟直播预期效果。

在虚拟主播直播中，需要虚拟人物做出与主播用户相同的手部动作，由于人手包含很多与观看者之间的一些交互信息，人手的运动捕捉可以进一步地运用在识别一些典型的手部动作上，进而触发一些相关的特效功能，因此，需要对主播的手部进行准确和快捷的捕捉。然而，在人手在虚拟主播直播中，通常只是通过普通的RGB摄像头来拍摄获得主播用户的单目RGB图像，然后再根据单目RGB图像来识别主播用户的手部动作，由于人手动作细腻，种类繁多，且自遮挡较常见，因此，一些技术中，在人手运动捕捉时通过加上估计或者直接输入的单目RGB图像的深度信息来进行人手运动捕捉，而由于是深度信息难以估计准确，也难以测量，增加了人手运动捕捉的复杂度，捕捉准确度也比较低。

发明内容

为克服相关技术中存在的问题，本申请提供一种直播间的人手捕捉方法、装置、介质以及计算机设备，其可快捷地捕捉人手图像，提高人手捕捉的准确度。

根据本申请实施例的第一方面，提供一种直播间的人手捕捉方法，包括如下步骤：

构建人手运动捕捉模型，且通过人手训练样本以及人手重建模型对构建的所述人手运动捕捉模型进行训练，获得训练后的人手运动捕捉模型；

获取直播间主播用户的单目RGB图像；

将所述单目RGB图像输入至人手检测模型，获得人手图像；

将所述人手图像输入至训练后的所述人手运动捕捉模型，获得人手运动参数；

将所述人手运动参数输入至所述人手重建模型，获得重建后的三维人手网格图像；

根据所述三维人手网格图像，获得重建后的二维人手图像。

根据本申请实施例的第二方面，提供一种直播间的人手捕捉方法，包括：

人手运动捕捉模型构建模块，用于构建人手运动捕捉模型，且通过人手训练样本以及人手重建模型对构建的所述人手运动捕捉模型进行训练，获得训练后的人手运动捕捉模型；

RGB图像获取模块，用于获取直播间主播用户的单目RGB图像；

人手图像获取模块，用于将所述单目RGB图像输入至人手检测模型，获得人手图像；

人手运动参数获取模块，用于将所述人手图像输入至训练后的所述人手运动捕捉模型，获得人手运动参数；