[发明专利]基于BlendMask的实体识别、知识图谱生成方法及系统

权利要求书

1.一种基于BlendMask的实体识别方法，其特征在于，包括以下步骤：

确定BlendMask改进模型；所述BlendMask改进模型包括：特征图金字塔网络FPN、图像分割单元以及实体识别单元；所述FPN对接收到的图像进行上采样，以提高图像的分辨率，方便在上采样后进行特征融合，最后通过空洞卷积将融合后的特征输出；所述空洞卷积在卷积核的元素之间加入多个空格，以扩大卷积核的感受野，避免上采样后的图像存在像素不连续或者像素混叠，进而全面提取图像的特征；所述图像分割单元基于所述图像特征将图像分割成多个不重叠且又具备各自特征的子区域，以将待进行实体识别的目标物从背景从分离；所述实体识别单元采用神经网络对所述目标物进行识别，确定所述目标物对应的实体信息；

将待进行实体识别的图像输入到BlendMask改进模型，以对图像中的目标物进行实体识别。

2.根据权利要求1所述的实体识别方法，其特征在于，所述空洞卷积核的尺寸为7*7。

3.根据权利要求1或2所述的实体识别方法，其特征在于，所述实体识别单元采用神经网络确定的实体信息包括：实体类别、实体名称以及识别精确度。

4.一种基于BlendMask的知识图谱生成方法，其特征在于，包括如下步骤：

确定文本中包含的信息；所述信息包括：实体、类别以及关系；所述类别为具有同种特性的实体构成的集合，所述关系指实体与实体、实体与类别或类别与类别之间的关系；

采用权利要求1至3任一项所述的实体识别方法识别图像中的目标物对应的实体信息；

将从文本中提取的实体、类别以及关系信息，与从图像中识别的实体信息结合，以类别和实体作为节点，并以关系为边生成对应的知识图谱。

5.根据权利要求4所述的知识图谱生成方法，其特征在于，所述将从文本中提取的实体、类别以及关系信息，与从图像中提取的实体信息结合，具体为：

根据从图像中提取的实体类别、实体名称和识别精确度信息，确定同一类别下的实体；

若同一类别下两个实体对应的识别精确度差值小于第一阈值，则将两个实体判定为统一物种，并为两个实体增加对应的关系信息；若同一类别下两个实体对应的识别精确度差值在第一阈值和第二阈值之间，则将两个实体判定为相似物种，并为两个实体增加对应的关系信息；若同一类别下两个实体对应的识别精确度差值大于第二阈值，则认为两个实体没有关系；所述第二阈值大于第一阈值；

根据从文本中提取的实体、类别以及关系信息，以及从图像中提取的实体、实体之间的关系信息，生成对应的知识图谱。

6.一种基于BlendMask的实体识别系统，其特征在于，包括：

BlendMask改进模型确定模块，用于确定BlendMask改进模型；所述BlendMask改进模型包括：特征图金字塔网络FPN、图像分割单元以及实体识别单元；所述FPN对接收到的图像进行上采样，以提高图像的分辨率，方便在上采样后进行特征融合，最后通过空洞卷积将融合后的特征输出；所述空洞卷积在卷积核的元素之间加入多个空格，以扩大卷积核的感受野，避免上采样后的图像存在像素不连续或者像素混叠，进而全面提取图像的特征；所述图像分割单元基于所述图像特征将图像分割成多个不重叠且又具备各自特征的子区域，以将待进行实体识别的目标物从背景从分离；所述实体识别单元采用神经网络对所述目标物进行识别，确定所述目标物对应的实体信息；

实体识别模块，用于将待进行实体识别的图像输入到BlendMask改进模型，以对图像中的目标物进行实体识别。

7.根据权利要求6所述的实体识别系统，其特征在于，所述空洞卷积核的尺寸为7*7。

8.根据权利要求6或7所述的实体识别系统，其特征在于，所述BlendMask改进模型的实体识别单元采用神经网络确定的实体信息包括：实体类别、实体名称以及识别精确度。