[发明专利]一种直播行为识别方法、装置、设备和可读介质

权利要求书

1.一种直播行为识别方法，其特征在于，包括：

根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征；

基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为。

2.根据权利要求1所述的方法，其特征在于，所述目标关键点包括脸部关键点和手部关键点。

3.根据权利要求2所述的方法，其特征在于，所述根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征，包括：

利用历史直播帧中的人脸运动特征对标准的人脸模板特征进行拟合，以建立对应的人脸动作模型；

将所述目标关键点中的脸部关键点输入到所述人脸动作模型中，得到所述当前直播帧内的人脸动作特征。

4.根据权利要求1所述的方法，其特征在于，所述基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为，包括：

确定所述教学行为库内每一教学行为预设定的行为判断条件，其中，每一教学行为的行为判断条件按照该教学行为包含的目标关键点位置和/或该教学行为涉及的人脸动作特征设定；

判断各所述目标关键点间的位置偏差以及所述人脸动作特征，是否符合各所述行为判断条件；

从所述教学行为库中查找出与所符合的行为判断条件对应的目标教学行为，并将所述目标教学行为识别为所述当前直播帧内的教学行为。

5.根据权利要求1所述的方法，其特征在于，在从已构建的教学行为库中识别所述当前直播帧内的教学行为之后，还包括：

将所述当前直播帧和所述当前直播帧内的教学行为，关联记录到预设的时序队列中；

利用所述时序队列中与所述当前直播帧的前向连续直播帧关联的各教学行为，对所述当前直播帧内的教学行为进行验证。

6.根据权利要求1-5任一项所述的方法，其特征在于，在从已构建的教学行为库中识别所述当前直播帧内的教学行为之后，还包括：

如果所述当前直播帧内的教学行为包含手部行为，则将该教学行为输入到预训练的行为识别模型中，对该教学行为进行验证。

7.根据权利要求1-5任一项所述的方法，其特征在于，在根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征之前，还包括：

将所述当前直播帧输入到预训练的关键点检测模型中，输出对应的脸部关键点和手部关键点，以得到所述目标关键点；

其中，所述关键点检测模型采用通过去噪处理的历史教学直播进行训练。

8.一种直播行为识别装置，其特征在于，包括：

人脸动作构建模块，用于根据当前直播帧内已检测出的目标关键点，构建所述当前直播帧内的人脸动作特征；

教学行为识别模块，用于基于各所述目标关键点间的位置偏差以及所述人脸动作特征，从已构建的教学行为库中识别所述当前直播帧内的教学行为。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的直播行为识别方法。

10.一种可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的直播行为识别方法。