[发明专利]一种基于视频语音的人物识别方法、装置、设备和介质

权利要求书

1.一种基于视频语音的人物识别方法，包括：

人物身份识别步骤：识别视频中出现的人物的面部图像，基于所述面部图像确定该人物的身份信息，得到第一身份信息集合，其中，所述第一身份信息集合至少包括一个身份信息；和

身份信息过滤步骤：基于对与所述视频对应的音频进行检测得到的人物姓名列表，对所述第一身份信息集合进行过滤，得到第二身份信息集合；

所述人物姓名列表通过以下步骤获得：

视频语音识别步骤：对与所述视频对应的音频进行语音识别，得到语音识别文本；和

人物姓名列表获取步骤：基于人物姓名词库，对所述语音识别文本进行检测，得到所述语音识别文本中出现的人物姓名列表；

在所述身份信息没有出现在所述人物姓名列表中的情况下，将第一身份信息集合中的身份信息的置信度大于第二阈值的身份信息作为所述第二身份信息集合中的元素。

2.根据权利要求1所述的方法，其特征在于，所述人物姓名词库通过以下步骤获得：

语音识别处理步骤：对音频进行语音识别，识别出人物姓名和相关的情感词；

语义分析步骤：进行聚类分析，识别和语义相关的人物姓名和情感词，进行语义判断；

分析结果输出步骤：得到所述视频中出现的人物的姓名，经过去重处理后得到人物姓名词库。

3.根据权利要求2所述的方法，其特征在于，所述人物姓名词库中包括以下数据中的一个或多个：人物的真实姓名、艺名、英文名、曾用名。

4.根据权利要求1所述的方法，其特征在于，在所述人物身份识别步骤中，对于所述视频中的每一帧，通过卷积神经网络识别视频帧中出现的人物的面部图像；基于所述面部图像通过经训练的VGG模型确定该人物的身份信息和置信度，得到第一身份信息集合，其中，所述第一身份集合至少包括一个身份信息和该身份信息的置信度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述身份信息过滤步骤包括：将所述第一身份信息集合中的身份信息按照置信度从高到低排序，将所述第一身份信息集合的身份信息依次与所述人物姓名列表进行比较，如果所述身份信息出现在所述人物姓名列表中，则将所述身份信息作为所述第二身份信息集合中的元素。

6.一种基于视频语音的人物识别装置，包括：

人物身份识别模块，其配置成用于识别视频中出现的人物的面部图像，基于所述面部图像确定该人物的身份信息，得到第一身份信息集合，其中，所述第一身份信息集合至少包括一个身份信息；和

身份信息过滤模块，其配置成用于基于对与所述视频对应的音频进行检测得到的人物姓名列表，对所述第一身份信息集合进行过滤，得到第二身份信息集合；

所述人物姓名列表通过以下模块获得：

视频语音识别模块，其配置成用于对与所述视频对应的音频进行语音识别，得到语音识别文本；和

人物姓名列表获取模块，其配置成用于基于人物姓名词库，对所述语音识别文本进行检测，得到所述语音识别文本中出现的人物姓名列表；

在所述身份信息没有出现在所述人物姓名列表中的情况下，将第一身份信息集合中的身份信息的置信度大于第二阈值的身份信息作为所述第二身份信息集合中的元素。

7.根据权利要求6所述的装置，其特征在于，所述人物姓名词库通过以下模块获得：

语音识别处理模块：用于对音频进行语音识别，识别出人物姓名和相关的情感词；

语义分析模块：用于进行聚类分析，识别和语义相关的人物姓名和情感词，进行语义判断；

分析结果输出模块：用于得到所述视频中出现的人物的姓名，经过去重处理后得到人物姓名词库。

8.根据权利要求6所述的装置，其特征在于，所述身份信息过滤模块用于：将所述第一身份信息集合中的身份信息按照置信度从高到低排序，将所述第一身份信息集合的身份信息依次与所述人物姓名列表进行比较，如果所述身份信息出现在所述人物姓名列表中，则将所述身份信息作为所述第二身份信息集合中的元素。