[发明专利]图像完整性识别方法、装置、计算机设备和存储介质

权利要求书

1.一种图像完整性识别方法，其特征在于，所述方法包括：

获取多媒体内容的多模态信息，所述多模态信息包括备选封面图像以及文本描述信息；

对所述文本描述信息进行文本特征提取，得到文本特征信息，并对所述备选封面图像进行图像特征提取，得到图像特征信息，所述图像特征信息用于描述图像属性特征以及图像人物特征，所述图像人物特征为人脸关键特征和人体边界区域特征中的至少一项；

根据所述文本特征信息以及所述图像特征信息进行备选封面图像完整性检测，得到与所述备选封面图像对应的图像完整性识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取多媒体内容的多模态信息包括：

当所述多媒体内容包括图文内容时，获取与所述图文内容对应的备选图文封面、图文内容文本以及图文内容标签，并提取所述图文内容中图像数据；

根据所述备选图文封面得到备选封面图像，并对所述图文内容中图像数据进行文字识别，根据图文内容文字识别结果、所述图文内容文本以及所述图文内容标签，得到文本描述信息。

3.根据权利要求1所述的方法，其特征在于，所述获取多媒体内容的多模态信息包括：

当所述多媒体内容包括视频内容时，对所述视频内容进行抽帧，得到视频帧集合，从所述视频帧集合中选取备选封面帧，并获取与所述视频内容对应的视频内容文本以及视频内容标签；

根据所述备选封面帧得到备选封面图像，并对所述视频帧集合中视频帧进行文字识别，根据视频内容文字识别结果、所述视频内容文本以及所述视频内容标签，得到文本描述信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述文本描述信息进行文本特征提取，得到文本特征信息包括：

对所述文本描述信息中文字识别结果和内容文本进行语义分析，得到第一语义特征信息，并对所述文本描述信息中内容标签进行语义分析，得到第二语义特征信息；

归集所述第一语义特征信息和所述第二语义特征信息，得到文本特征信息。

5.根据权利要求1所述的方法，其特征在于，所述对所述备选封面图像进行图像特征提取，得到图像特征信息包括：

对所述备选封面图像分别进行图像属性特征提取以及人脸关键特征提取，得到图像属性特征信息以及人脸关键特征信息，并对所述备选封面图像进行人体解析，得到人体边界区域特征信息；

融合所述图像属性特征信息、所述人脸关键特征信息以及所述人体边界区域特征信息，得到图像特征信息。

6.根据权利要求5所述的方法，其特征在于，所述对所述备选封面图像进行人体解析，得到人体边界区域特征信息包括：

对所述备选封面图像进行共享特征提取，得到共享特征图；

根据所述共享特征图，分别进行语义部分分割和实例感知边缘检测，得到语义部分分数图以及边缘分数图；

整合所述语义部分分数图以及边缘分数图，得到人体边界区域特征信息。

7.根据权利要求1所述的方法，其特征在于，所述根据所述文本特征信息以及所述图像特征信息进行备选封面图像完整性检测，得到与所述备选封面图像对应的图像完整性识别结果包括：

融合所述文本特征信息以及所述图像特征信息，得到融合特征信息；

根据所述融合特征信息进行备选封面图像完整性检测，确定所述备选封面图像归属于各预设图像完整性识别结果的概率；

根据所述概率，确定与所述备选封面图像对应的图像完整性识别结果。