[发明专利]一种基于知识图谱的小目标检测方法、设备及存储介质

权利要求书

1.一种基于知识图谱的小目标检测方法，其特征在于，包括以下步骤：

S1，基于CN-Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知识图谱；

S2，在目标上下文知识图谱中，根据训练集小目标的类别信息与文本描述查找关联实体，获取用以辅助检测的显式上下文信息；

S3，基于YOLOv3网络模型进行改进，利用步骤S2获取的显式上下文信息搭建小目标检测模型；

S4，将小目标图像输入步骤S3搭建的小目标检测模型中，对图像进行检测处理并输出检测结果。

2.如权利要求1所述的一种基于知识图谱的小目标检测方法，其特征在于，所述步骤S1中基于CN-Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知识图谱的具体过程为：

S11，对文本格式的ImageNet数据集类别信息采用BiLSTM+CRF算法进行命名实体识别；首先使用Skip-gram模型将单词映射为词向量，之后通过BiLSTM层得到每个单词对于每个标签的得分概率，最后将得分概率输入CRF层，学习标签间的顺序依赖信息，得到命名实体识别结果；

S12，将CN-Probase中文通用概念知识图谱的结构化数据与步骤S11提取后的实体进行实体链接：根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过Cosine相似度计算将指称项链接到正确的实体对象；

S13，基于ImageNet数据集图像与步骤S12得到的事实表达构建本体；使用RDFS语言进行schema层建模，对于存在Part-of/约束/依赖关系的实体，在ImageNet数据集中筛选出实体同时出现的图像，并进行目标标注，计算各目标长宽对于图片长宽的相对值，将该值填充入相应实体的属性值域；

S14，对形成的目标上下文知识图谱做质量评估，同时通过知识推理进行知识图谱的拓展。

3.如权利要求1所述的一种基于知识图谱的小目标检测方法，其特征在于，所述步骤S2具体为，对于训练集中易漏检的小目标类别，在目标上下文知识图谱中使用SPARQL语言查询与其存在Part-of/约束/依赖关系的实体，并计算实体间宽、高属性的比值，即获取用以辅助检测的显式上下文信息。

4.如权利要求1所述的一种基于知识图谱的小目标检测模型搭建方法，其特征在于，所述步骤S3利用显式上下文信息搭建小目标检测模型的具体步骤为：

S31，对原始数据集按照8:1:1划分为训练集、验证集、测试集；

S32，设置训练初始参数，包括：使用ImageNet数据集上预训练的DarkNet53模型作为backbone；图像大小resize为640*640像素；epoch为300；batchsize为16；优化器采用Adam优化器，初始学习率为0.0001，beta1为0.937,beta2为0.999,权重衰减度为0.0005；warmupepoch为3.0，warmup初始动量为0.8，warmup初始偏差为0.1；

S33，训练集分批次输入初始权重模型进行前向传播，得到预测的分类与坐标回归结果；具体的，采用Mosaic方法进行数据增强，即随机使用若干张图片，经过随机缩放与随机剪裁，再随机分布进行拼接；在训练的最后15个batch关闭Mosaic数据增强方法；同时，基于“不同小目标的相同尺度、长宽比区域有相似的上下文特征”的假设，根据获得的小目标与大目标的宽高比值数据，按比例生成大目标的位置标签与类别标签；

S34，计算loss并进行反向传播更新模型权重，迭代至300个epoch时结束训练，每30轮保存一次模型；具体的，对原始小目标和生成大目标的标签与预测结果分别采用多类别交叉熵计算分类损失、采用二分类交叉熵计算置信度损失，采用CIoU Loss计算坐标损失，并进行加权求和作为总体损失；

S35，测试并得到收敛的小目标检测模型。