[发明专利]基于场景图和概念网相结合的检索知识图谱库生成方法

权利要求书

1.一种基于场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，包括以下步骤：

1)模型预训练：数据来自公开可用的MS-COCO数据集，该数据集是一个大规模的对象检测、分割、关键点检测和字幕数据集；输入该数据集之后，在经典的神经网络(Faster-CNN)上对其进行预训练，检测图片中出现的物体种类和其位置；

2)场景图的训练：对模型预训练的结果进行无偏训练，并应用神经网络模型最终输出与场景图相关信息的文件，预测出图片中不同种类之间的关系；

3)知识图谱的自动扩充：基于概念网的知识图谱，可以对其进行扩充；可以通过新词得到新的知识，并添加到知识图谱中；

4)模型测试：对于训练完成的场景图模型进行测试，使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score来评估所提出方法的性能；

5)生成检索数据库：将场景图和概念网相关的文件信息进行提取并处理，然后导入到检索数据库中，最终组成本检索数据库；将场景图中相似度高的节点和关系进行合并，并将场景图和概念网对应的知识图谱库进行融合，最后将场景图和概念网合并成一个包含所有信息的知识图谱库；

6)数据库定时更新：使用了增量学习的方法可以实现对数据库的在线的更新，可以增加数据库的信息。

2.如权利要求1所述的一种基于场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤1)所述的模型预训练包括：

1.1)数据集处理阶段，对MS-COCO数据集进行处理，筛选出有特定种类的图片，过滤掉多余的图片；

1.2)在经典的神经网络(Faster-CNN)上对其进行预训练；首先，用卷积层提取输入图像的特征，区域提案网络生成区域提议，根据特征图和区域提议提供的坐标[x,y,w,h]，然后经过感兴趣区域对齐，生成固定尺寸的特征图，最后利用soft max进行具体类别的分类。

3.如权利要求1所述的一种场景图和概念网相结合的检索知识图谱库生成方法，其特征在于，步骤2)所述的场景图的训练包括以下过程：

2.1)基于已有的场景图训练方法，使用神经网络Neural-MOTIFS模型对场景图生成进行无偏训练；场景图无偏训练的过程：使用传统的场景图训练方法然后去偏差；首先用基于事实的因果图训练方法，即正常模型的训练框架；X是目标特征，先预测出目标标签Z，最终由图像I，目标特征X，目标标签Z共同预测谓语动词Y；预测谓语动词的形式为(I，X，Z)→Y；训练损失的公式如下：

其中，通过使用目标标签Z和谓词标签Y的交叉熵损失进行训练；

然后，使用同一个模型，用不同的方法；使用被干预的原始因果图方法进行训练；与上一个方法不同的是，去除了I→X，即目标特征X不受图片I的影响，也不决定目标标签Z的标签，给与X分配一个虚拟值，然后推断谓词是什么；根据得出的2个谓语动词Y，将两次结果相减；可以依靠观察到的结果Y(u)和它的反事实替代Y_x,z(u)之间的差异来消除偏见的影响，公式如下：

TDE＝Y_(u)-Y_x,z(u) (2)

其中，TDE将作为无偏场景图的最终谓词得分，Y_(u)，Y_x,z(u)分布是第一次和第二次得到的谓语动词；

2.2)输出结果，得到对应的json文件；对于每张图像，场景图信息保存为包含目标，该目标的得分情况，目标标签，两个种类之间的关系，关系标签，关系的得分，每个对象对应匹配所有51个谓词的概率。