[发明专利]基于BlendMask的实体识别、知识图谱生成方法及系统

说明书

本发明公开了一种基于BlendMask的实体识别、知识图谱生成方法及系统，其中，采用BlendMask改进模型对每张图像依次进行图像预处理、特征融合、图像分割和实体识别操作，从而得到图像中各个实体的分割区域、实体名和精确度；另外，本发明将从文本中提取的实体、类别以及关系信息，与从图像中识别的实体信息结合，以类别和实体作为节点，并以关系为边生成对应的知识图谱。由于本发明对现有的BlendMask模型进行了改进：在特征融合操作中采用7*7的空洞卷积核；空洞卷积核能够在扩大感受野的同时不降低图像分辨率，因此本发明提供的实体识别方法更加精准，对应的图谱生成方法也更加全面。

技术领域

本发明属于实体识别领域，更具体地，涉及一种基于BlendMask的实体 识别、知识图谱生成方法及系统。

背景技术

知识图谱是结构化的语义知识库，用于迅速描述物理世界中的概念及其 相互关系，通过将数据粒度从文件级别降到数据级别，聚合大量知识，从而 实现知识的快速响应和推理。现有的知识图谱大都是从文本文件中提取三元 组，如文本文件中写到中国的首都是北京，我们就可以提取出这样的三元组： 中国-首都-北京。随着数字化科技的发展，图像技术越来越成熟，图像的内 容也越来越丰富。不同模态通常包含同一对象不同方面的知识，单是从文本 文件中获取的信息是片面的，这会造成数据的不准确性，在知识图谱实体对 齐、链接预测和关系推理等后续操作中就会带来很多的错误，影响最终的结 果。

现有知识图谱的构建大多是从冗余的数据与知识文本中抽取有用信息， 然而知识图谱的数据来源不仅仅是文本和结构化数据，也可以是图片、视频 和音频等视觉或听觉形式的数据。如果将图片、视频中的实体采用类似于实 体链接等技术与知识图谱中的实体进行链接，就可以充分完善知识图谱的信 息。

另外，随着人工智能技术的不断发展和图像数量的指数增长，图像检测 与识别技术的研究内容越来越广泛，应用角度越来越多样化，实体识别技术 成为一个热门研究领域。从数据处理的角度看，现实世界中的客观事物称为 实体，它是现实世界中任何可区分、可识别的事物；实体可以指人，如教师、 学生等，也可以指物，如书、仓库等。实体识别技术的目的是在图像中标记 各个实体的分割区域、实体名和精确度。但是现有对图像的实体识别方法准 确度较低。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于BlendMask的实 体识别、知识图谱生成方法及系统，旨在解决现有图像实体识别方法准确度 低且现有知识图谱构建未结合图像中识别的实体信息的问题。

第一方面，本发明提供了一种基于BlendMask的实体识别方法，包括以 下步骤：

确定BlendMask改进模型；所述BlendMask改进模型包括：特征图金字 塔网络FPN、图像分割单元以及实体识别单元；所述FPN对接收到的图像 进行上采样，以提高图像的分辨率，方便在上采样后进行特征融合，最后通 过空洞卷积将融合后的特征输出；所述空洞卷积在卷积核的元素之间加入多 个空格，以扩大卷积核的感受野，避免上采样后的图像存在像素不连续或者 像素混叠，进而全面提取图像的特征；所述图像分割单元基于所述图像特征 将图像分割成多个不重叠且又具备各自特征的子区域，以将待进行实体识别 的目标物从背景从分离；所述实体识别单元采用神经网络对所述目标物进行 识别，确定所述目标物对应的实体信息；

将待进行实体识别的图像输入到BlendMask改进模型，以对图像中的目 标物进行实体识别。

在一个可选的示例中，所述空洞卷积核的尺寸为7*7。

在一个可选的示例中，所述实体识别单元采用神经网络确定的实体信息 包括：实体类别、实体名称以及识别精确度。

第二方面，本发明提供了一种基于BlendMask的知识图谱生成方法，包 括如下步骤：