[发明专利]工作状态的确定方法、装置、电子设备及存储介质

权利要求书

1.一种工作状态的确定方法，其特征在于，所述方法包括：

采集目标对象的视频信息；

提取所述视频信息中目标帧序列，基于所述目标帧序列确定人脸特征图像序列和肢体特征图像序列；

确定所述肢体特征图像序列对应的动作标签及各个动作标签对应的第一图像序列标号，并确定所述人脸特征图像序列对应的表情标签及各个表情标签对应的第二图像序列标号；

基于各个第一图像序列标号、各个第二图像序列标号从各个动作标签对应的表情标签中确定各个动作标签对应的目标表情标签；

基于各个动作标签、各个动作标签对应的第一图像序列标号和各个动作标签对应的目标表情标签确定所述目标对象的工作状态。

2.根据权利要求1所述的方法，其特征在于，所述基于各个动作标签、各个动作标签对应的第一图像序列标号和各个动作标签对应的目标表情标签确定所述目标对象的工作状态，包括：

基于各个动作标签和各个动作标签对应的目标表情标签确定初始矩阵的矩阵值，以得到目标矩阵，其中，所述初始矩阵的纵列为表情标签，所述初始矩阵的横列为动作标签，当各个动作标签存在对应的表情标签时，在所述初始矩阵中对应位置用矩阵值1表示；

基于所述目标矩阵和各个动作标签对应的第一图像序列标号的数量确定在三维模型中的各个情绪要素状态坐标点，其中，所述三维模型中Z轴表示第一图像序列标号的数量，X轴表示表情标签，Y轴表示动作标签；

基于各个动作标签对应的各个情绪要素状态坐标点，确定各个动作标签对应的情绪要素状态向量；

基于各个动作标签对应的情绪要素状态向量，确定各个动作标签对应的融合情绪要素状态向量；

基于各个动作标签对应的融合情绪要素状态向量确定所述目标对象的工作状态。

3.根据权利要求2所述的方法，其特征在于，所述基于各个动作标签对应的各个情绪要素状态坐标点，确定各个动作标签对应的情绪要素状态向量，包括：

将各个动作标签对应的各个情绪要素状态坐标点减去0向量，得到各个动作标签对应的情绪要素状态向量；

所述基于各个动作标签对应的情绪要素状态向量，确定各个动作标签对应的融合情绪要素状态向量，包括：

对各个动作标签对应的各个情绪要素状态向量进行求和，得到各个动作标签对应的融合情绪要素状态向量；

所述基于各个动作标签对应的融合情绪要素状态向量确定所述目标对象的工作状态，包括：

基于各个动作标签对应的融合情绪要素状态向量，采用聚类算法计算所述目标对象的工作状态。

4.根据权利要求1所述的方法，其特征在于，所述基于各个第一图像序列标号、各个第二图像序列标号从各个动作标签对应的表情标签中确定各个动作标签对应的目标表情标签，包括：

确定各个动作标签对应的第一图像序列标号的第一数量，并确定各个表情标签对应的第二图像序列标号的第二数量；

确定各个动作标签对应的时间范围内各个第二数量与第一数量之间的比例值；

基于各个比例值从各个动作标签对应的表情标签中确定各个动作标签对应的目标表情标签。

5.根据权利要求1所述的方法，其特征在于，所述提取所述视频信息中目标帧序列，基于所述目标帧序列确定人脸特征图像序列和肢体特征图像序列，包括：

将所述视频信息进行拆分，得到所述视频信息的视频帧序列；

基于预设的抽帧率，从所述视频帧序列中抽取目标帧序列；

将所述目标帧序列输入至第三网络模型中确定人脸特征图像序列；将所述目标帧输入至第四网络模型中确定肢体特征图像序列。

6.根据权利要求1所述的方法，其特征在于，所述确定所述肢体特征图像序列对应的动作标签及各个动作标签对应的第一图像序列标号，并确定所述人脸特征图像序列对应的表情标签及各个表情标签对应的第二图像序列标号，包括；

将所述肢体特征图像序列输入至预先训练好的第一网络模型中，确定各个动作标签及各个动作标签对应的第一图像序列标号；

将所述人脸特征图像序列输入至预先训练好的第二网络模型中，确定各个表情标签及各个表情标签对应的第二图像序列标号。