[发明专利]视频画面中对象的信息的获取方法、装置及设备

权利要求书

1.一种视频画面中对象的信息的获取方法，其特征在于，所述方法包括：

获取视频中的视频帧以及所述视频帧的画面类型；所述画面类型包括：待识别对象为文字对象的文字类型，以及待识别对象为人物对象的人物类型；

利用与所述画面类型对应的识别模型，从所述视频帧中识别与所述画面类型对应的预存对象信息匹配的内容，作为所述视频帧的对象信息；

基于所述视频中各视频帧的对象信息，获得所述视频的视频画面中对象的信息；

与所述人物类型对应的预存对象信息包括：预存的人物头部图像；

所述利用与所述画面类型对应的识别模型，从所述视频帧中识别与所述画面类型对应的预存对象信息匹配的内容，作为所述视频帧的对象信息，包括：

获取该人物类型的视频帧中第二指定区域的图像，作为第二待检图像；

分别计算所述第二待检图像与多个预存的人物头部图像之间的相似度，得到多个第二相似度；

将所述多个第二相似度中符合第二预设相似条件的相似度，作为第二目标相似度，并将所述第二目标相似度对应的预存的人物头部图像，作为目标人物头部图像；

从预存的人物头部图像与人物名称信息的对应关系中，查找所述目标人物头部图像对应的人物名称信息，作为所述视频帧的对象信息；

所述分别计算所述第二待检图像与多个预存的人物头部图像之间的相似度，得到多个第二相似度，包括：

针对每个预存的人物头部图像，计算所述第二待检图像中每个像素点的像素值，与该预存的人物头部图像的全局平均像素值之间的差异值，得到与该预存的人物头部图像对应的第一差异值；其中，所述全局平均像素值为预存的人物头部图像中全部像素点的像素值的平均值；

针对每个预存的人物头部图像，计算该预存的人物头部图像中每个像素点的像素值，与该预存的人物头部图像的全局平均像素值之间的差异值，得到与该预存的人物头部图像对应的第二差异值；

针对每个预存的人物头部图像，利用该预存的人物头部图像对应的所述第二差异值，对该预存的人物头部图像对应的所述第一差异值进行归一化，得到所述第二待检图像与该预存的人物头部图像之间的第二相似度。

2.根据权利要求1所述的方法，其特征在于，所述获取视频中视频帧的画面类型，包括：

获取所述视频帧的时间戳；所述时间戳用于表明所述视频帧在所述视频中的播放时间点；

从所述视频对应的预存的时间戳与画面类型的对应关系中，查找所述视频帧的时间戳对应的画面类型，作为所述视频帧的画面类型。

3.根据权利要求1至2任一项所述的方法，其特征在于，与所述文字类型对应的预存对象信息包括：预存的人物名称信息；

所述利用与所述画面类型对应的识别模型，从所述视频帧中识别与所述画面类型对应的预存对象信息匹配的内容，作为所述视频帧的对象信息，包括：

获取所述文字类型的视频帧中第一指定区域的图像，作为第一待检图像；

利用预先训练得到的第一神经网络模型，对所述第一待检图像进行文本检测，得到所述第一待检图像中存在文字信息的文字区域，并将所得到的文字区域作为待识别图像；其中，所述第一神经网络模型为利用第一样本图像和所述第一样本图像中文字区域的标注框训练得到的；

利用预先训练得到的第二神经网络模型，对所述待识别图像进行文本识别，得到所述待识别图像中的文字信息；其中，所述第二神经网络模型为利用第二样本图像和所述第二样本图像中的人物名称信息训练得到的；所述第二样本图像为存在所述预存的人物名称信息的图像；

将所得到的文字信息作为所述视频帧的对象信息。

4.根据权利要求3所述的方法，其特征在于，所述第一待检图像中存在文字信息的文字区域的数量为多个；

所述将所得到的文字区域作为待识别图像，包括：

获取所得到的多个文字区域在所述第一待检图像中的坐标信息，以及所述界面图像中文字信息的分布方向；

基于每个文字区域的所述坐标信息，按照所述分布方向对所得到的多个文字区域进行拼接，得到待识别图像。