[发明专利]一种基于唇动的视频角色识别方法、装置及存储介质

权利要求书

1.一种基于唇动的视频角色识别方法，其特征在于，所述方法包括：

对与目标视频文件关联的随路数据进行角色面部识别，获取每个角色对应的面部标准图像和第一面部区域信息，并建立角色信息、面部标准图像和第一面部区域信息的关联关系；

对所述目标视频文件进行唇动识别，确定发生唇动的面部识别图像和第二面部区域信息；

基于随路数据中的识别标识确定识别策略；

基于每个角色对应的面部标准图像和第一面部区域信息、所述面部识别图像、所述第二面部区域信息和识别策略进行角色识别，确定角色识别结果。

2.根据权利要求1所述的方法，其特征在于，所述对与目标视频文件关联的随路数据进行角色面部识别，获取每个角色对应的面部标准图像，包括：

利用面部检测算法对于目标视频文件关联的随路数据进行面部识别，确定每个角色对应的第一面部区域信息；

基于每个角色对应的第一面部区域信息进行面部图像的裁剪，并对裁剪出的图像进行格式转换，以获取每个角色对应的面部标准图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对每个角色对应的面部标准图像进行交叉比对，获取第一比对结果；其中，若所述第一比对结果指示存在相同的面部标准图像，则返回提示待识别的角色不能重复的错误信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述目标视频文件进行唇动识别，确定发生唇动的面部识别图像和第二面部区域信息，包括:

基于预设唇动算法对所述目标视频文件进行唇动识别，当确定发生唇动时，进行至少两个唇动图像的截图；

确定每个唇动图像中发生唇动的面部所在的区域信息，并判断所述区域信息是否指示同一个区域，获取判断结果；

当所述判断结果指示所述区域信息指示同一个区域时，确定发生唇动的角色为同一个角色，确定所述区域信息为第二面部区域信息，并基于所述唇动图像确定发生唇动的面部识别图像。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述判断结果指示所述区域信息指示不同区域时，确定发生唇动的角色不是同一个角色，返回提示发生唇动的角色不一致的错误信息。

6.根据权利要求1所述的方法，其特征在于，所述基于每个角色对应的面部标准图像和第一面部区域信息、所述面部识别图像、所述第二面部区域信息和识别策略进行角色识别，确定角色识别结果，包括：

当所述识别策略为区域识别时，将所述第二面部区域信息和每个角色对应的第一面部区域信息进行匹配，确定匹配成功的第一面部区域信息，将与所述匹配成功的第一面部区域信息关联的角色信息作为目标角色信息；

当所述识别策略为精确识别时，遍历每个角色对应的面部标准图像，将所述面部识别图像和面部标准图像进行比对，确定匹配成功的面部标准图像，将与所述匹配成功的面部标准图像关联的第一面部区域信息和所述第二面部区域信息进行比对，当比对一致时，将与所述匹配成功的面部标准图像关联的角色信息作为目标角色信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当根据输入的指令确定需要进行声纹识别时，基于所述目标视频文件提取所述识别结果中与所述目标角色信息对应的第一声纹信息；

获取与所述目标角色信息关联的声纹标识，并基于所述声纹标识获取第二声纹信息；其中，所述声纹标识存储于所述随路数据中；

比对所述第一声纹信息和第二声纹信息，获取第二比对结果；

当所述第二比对结果指示一致时，确定目标角色信息识别无误；当所述第二比对结果指示比对不一致时，返回声纹比对不一致的错误信息。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。