[发明专利]识图知意的方法、装置、设备及存储介质

权利要求书

1.一种识图知意的方法，其特征在于，包括：

使用预设的目标检测模型对获取的待识别图像进行目标检测，确定所述待识别图像中的识别目标；

在所述待识别图像中包含多个所述识别目标时，从预设的知识图谱中获取与各所述识别目标匹配的目标属性及其深层属性，以及与各所述识别目标匹配的所述目标属性之间的关联关系；

根据各所述目标属性、各所述目标属性的深层属性以及各所述目标属性之间的关联关系生成第一特征向量集；

将所述第一特征向量集输入至预设的识图知意模型中，接收所述识图知意模型输出的第一类识别结果；所述第一类识别结果用于描述所述待识别图像表征的图像实体。

2.如权利要求1所述的识图知意的方法，其特征在于，所述使用目标检测模型对获取的待识别图像进行目标检测，确定所述待识别图像中的识别目标之后，包括：

在所述待识别图像中仅包含一个所述识别目标时，从所述知识图谱中获取与该识别目标匹配的目标属性及其深层属性；

根据所述目标属性及其所述深层属性生成第二特征向量集；

将所述第二特征向量集输入至所述识图知意模型中，接收所述识图知意模型输出的第二类识别结果；所述第二类识别结果用于描述所述待识别图像中的所述识别目标的基本信息。

3.如权利要求1所述的识图知意的方法，其特征在于，所述在所述待识别图像中包含多个所述识别目标时，从预设的知识图谱中获取与各所述识别目标匹配的目标属性及其深层属性，以及与各所述识别目标匹配的所述目标属性之间的关联关系之前，包括：

获取用于构建知识图谱的语料信息；所述语料信息包含多个文本片段，且每一所述语料信息对应一个语料标注；所述语料标注用于表征所述图像实体的本体属性；

对所述文本片段进行分词以及词性标注，根据已标注的词性获取所述文本片段中的关键词；所述关键词包含名词、动词、形容词、数词中的一种或多种；

按照预设匹配规则确定所述关键词中与所述本体属性关联的目标属性、所述目标属性的子属性以及所述目标属性之间的关联关系；

根据所述图像实体、所述本体属性、所述目标属性、所述目标属性的子属性以及所述目标属性之间的关联关系构建所述知识图谱。

4.如权利要求1所述的识图知意的方法，其特征在于，所述使用预设的目标检测模型对获取的待识别图像进行目标检测，确定所述待识别图像中的识别目标之后，还包括：

对已经过目标检测的所述待识别图像进行预处理之后，得到目标图像；

将所述目标图像输入至预设的属性提取模型中，并接收所述属性提取模型输出的已确定的所述识别目标的浅层属性，所述浅层属性包括所述识别目标的轮廓信息、颜色信息和行为信息中的一种或多种；

在所述待识别图像中包含多个所述识别目标时，从所述知识图谱中获取与各所述识别目标匹配的所述目标属性及其深层属性，以及与各所述识别目标匹配的所述目标属性之间的关联关系；

根据各所述目标属性、各所述目标属性的所述深层属性、各所述目标属性之间的关联关系以及各所述识别目标的浅层属性生成第三特征向量集；

将所述第三特征向量集输入至所述识图知意模型中，接收所述识图知意模型输出的第三类识别结果；所述第三类识别结果是指描述所述待识别图像的图像实体的输出文本。

5.如权利要求4所述的识图知意的方法，其特征在于，所述将所述目标图像输入至预设的属性提取模型中，并接收所述属性提取模型输出的已确定的所述识别目标的浅层属性，包括：

在所述待识别图像中仅包含一个所述识别目标时，从所述知识图谱中获取与所述识别目标匹配的所述目标属性及其深层属性；

根据所述目标属性、所述目标属性的所述深层属性和所述识别目标的所述浅层属性生成第四特征向量集；

将所述第四特征向量集输入至所述识图知意模型中，接收所述识图知意模型输出的第四类识别结果；所述第四类识别结果是指描述所述待识别图像中的所述识别目标的基本信息的输出文本。