[发明专利]基于语句的图像检测方法、装置和系统

说明书

本申请提供了一种基于语句的图像检测方法、装置和系统。图像检测方法包括：从图像中提取分别针对图像中的多个图像特征的多个视觉响应；针对表示图像检测需求的语句所包含的多个词语，提取多个词语中的每个词语的多个词语响应，多个词语响应是针对词语中的字词语义的响应并分别与图像中的多个图像特征对应；基于多个视觉响应和多个词语响应，获得多个词语中每个词语分别与图像的第一匹配度；以及基于各第一匹配度，获得图像与语句的第二匹配度。

技术领域

本申请涉及CV(Computer Vision，计算机视觉)领域，更具体地，涉及一种基于语句进行图像检测的方法、装置和系统。

背景技术

图像检测任务是指根据需求从大量图像中检测出目标图像的任务。图像检测是CV领域中的重要研究方向并且具有广阔的应用前景。例如，在智能监控中，需要从大量的视频帧中获取包含目标对象的视频帧。通过人工来完成上述任务将是耗时耗力的。随着人工智能技术的发展，通过机器学习方法自动进行图像检测成为可能。

现有的图像检测大致分为基于图片的图像检测和基于属性的图像检测。基于图片的图像检测需要至少一张图片作为索引，而基于属性的图像检测需要提前预设一些图像属性。

发明内容

本申请提供了基于语句进行图像检测的技术方案。

本申请实施例的一方面提供了一种图像检测方法。图像检测方包括：从图像中提取分别针对图像中的多个图像特征的多个视觉响应；针对表示图像检测需求的语句所包含的多个词语，提取多个词语中的每个词语的多个词语响应，多个词语响应是针对词语中的字词语义的响应并分别与图像中的多个图像特征对应；基于多个视觉响应和多个词语响应，获得多个词语中每个词语分别与图像的第一匹配度；以及基于各第一匹配度，获得图像与语句的第二匹配度。

本申请实施例的另一方面提供了一种图像检测装置。图像检测装置包括：视觉响应提取器，视觉响应提取器从图像中提取分别针对图像中的多个图像特征的多个视觉响应；词语响应提取器，词语响应提取器针对表示图像检测需求的语句所包含的多个词语，提取多个词语中的每个词语的多个词语响应，多个词语响应是针对词语中的字词语义的响应并分别与图像中的多个图像特征对应；词语匹配器，词语匹配器基于多个视觉响应和多个词语响应，获得多个词语中每个词语分别与图像的第一匹配度；以及语句匹配器，语句匹配器基于各第一匹配度，获得图像与语句的第二匹配度。

本申请实施例的又一方面提供了一种图像检测系统。图像检测系统包括：存储可执行指令的存储器；以及一个或多个处理器。一个或多个处理器与存储器通信以执行可执行指令，从而完成以下操作：从图像中提取分别针对图像中的多个图像特征的多个视觉响应；针对表示图像检测需求的语句所包含的多个词语，提取多个词语中的每个词语的多个词语响应，多个词语响应是针对词语中的字词语义的响应并分别与图像中的多个图像特征对应；基于多个视觉响应和多个词语响应，获得多个词语中每个词语分别与图像的第一匹配度；以及基于各第一匹配度，获得图像与语句的第二匹配度。

本申请实施例的再一方面提供了一种非暂时性计算机存储介质，该介质能够存储计算机可读指令，当这些指令被执行时可使处理器执行以下操作：从图像中提取分别针对图像中的多个图像特征的多个视觉响应；针对表示图像检测需求的语句所包含的多个词语，提取多个词语中的每个词语的多个词语响应，多个词语响应是针对词语中的字词语义的响应并分别与图像中的多个图像特征对应；基于多个视觉响应和多个词语响应，获得多个词语中每个词语分别与图像的第一匹配度；以及基于各第一匹配度，获得图像与语句的第二匹配度。

本申请的技术方案通过对语句中的词语以及图像中的特征进行分析，将语句中的词语分别与图像进行匹配检测，以及综合考虑所有词语与图像的匹配结果，从而实现了基于语句来完成对图像的匹配检测。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显，其中：