[发明专利]一种指示对象的检测方法、装置以及相关设备

说明书

本申请实施例公开了一种指示对象的检测方法、装置以及相关设备，其中，该方法包括：获取给定图像和给定自然语句，根据指示对象检测模型，对上述给定图像和给定自然语句进行处理，得到给定自然语句描述的指示对象在给定图像中的位置坐标。上述指示对象检测模型为是以图像和自然语句作为输入，直接以自然语句所描述的指示对象在图像中的位置坐标为输出的端到端的神经网络，该指示对象检测模型是通过端到端训练方式，对整个神经网络的参数进行整体训练优化而得到的模型，该指示对象检测模型具有更好的整体检测性能，因此，利用该指示对象检测模型检测指示对象，能够保证检测结果的准确性。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种指示对象的检测方法、装置、设备、计算机可读存储介质以及计算机程序产品。

背景技术

指示对象检测，也即目标检测，其是计算机视觉中的一个基础任务，它可以被用到很多现实常用的项目，例如行人检测、车辆检测、目标追寻和图像检索等。因此，做好指示对象检测对于一些更高层的技术实现具有非常大的帮助。

现有的指示对象检测方法的基本思想是，先利用通用物体检测器从给定图像中检测提取出一系列可能包含目标的候选区域，然后，根据给定自然语句利用匹配模型从这些候选区域中选择一个最匹配的候选区域作为最终的检测结果，即指示对象的区域。

由于，通用物体检测器和匹配模型是相互独立训练得到的两个模型，两者分别是以不同训练目标进行训练的，并非是以统一训练目标优化调整模型的参数，通用物体检测器在训练时并不依赖自然语句进行训练，其不具有结合自然语句检测候选区域的能力，则利用通用物体检测器检测的候选区域很可能与自然语句描述的内容并不相关，甚至这些候选区域中都不包含自然语句所描述的内容，因此，即使匹配模型的性能较好，也就无法从候选区域中获得准确率较高的结果，可见，现有的指示对象检测方法的检查结果的准确度并不高。

发明内容

本申请实施例提供了一种指示对象的检测方法、装置以及相关设备，采用端到端的指示对象检测模型，根据给定图像和给定自然语句直接检测指示对象，能够提高指示对象检测结果的准确度。

有鉴于此，本申请第一方面提供了一种指示对象的检测方法，所述方法包括：

获取给定图像和给定自然语句；

根据指示对象检测模型，对所述给定图像和所述给定自然语句进行处理得到所述给定自然语句描述的指示对象在所述给定图像中的位置坐标，所述指示对象检测模型为端到端的神经网络，所述神经网络以图像和自然语句作为输入，以指示对象的位置坐标作为输出。

本申请第二方面提供了一种指示对象的检测装置，所述装置包括：

获取模块，用于获取给定图像和给定自然语句；

处理模块，用于根据指示对象检测模型，对所述给定图像和所述给定自然语句进行处理得到所述给定自然语句描述的指示对象在所述给定图像中的位置坐标，所述指示对象检测模型为端到端的神经网络，所述神经网络以图像和自然语句作为输入，以指示对象的位置坐标作为输出。

本申请第三方面提供了一种指示对象的检测设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的指示对象的检测方法的步骤。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

本申请第五方面提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：