[发明专利]基于内存图像集群的图像检索方法及系统

说明书

本发明提供了基于内存图像集群的图像检索方法及系统，涉及图像检索技术领域，包括：采用ElasticSearch以及HDFS上的HBase和Parquet文件，并基于内存集群对图像数据进行分布式存储，得到持久化图像数据；按照预设条数对持久化图像数据进行管理，得到图像热数据；按照均衡分配原则将图像热数据进行节点的分配，得到热数据节点；通过第一热数据节点将检索请求并行分发给每个热数据节点，以使热数据节点对图像热数据进行检索，得到第一目标图像数据。本发明可以在保证准确度的情况下，提升以图搜图的性能。

技术领域

本发明涉及图像检索技术领域，尤其是涉及基于内存图像集群的图像检索方法及系统。

背景技术

随着视频监控摄像头的高清化、新的视频编解码算法的应用、视频结构化算法越来越成熟，视频监控系统不再局限于实时视频浏览、历史视频检索回放等常规功能。越来越多的应用AI(Artificial Intelligence，人工智能)技术，将图像信息提取成各种属性和特征信息，存储到后台系统中，供后续快速检索和数据挖掘用。

一个城市的摄像头数量动不动就是几千上万个，提取出来的数据量相当惊人，一般可以保留到百亿甚至千亿记录级别，这些海量数据的存储检索和挖掘一般需要用到分布式集群才能完成。对于海量数据的属性检索有相对成熟的ElastciSearch或者Solr等搜索引擎可以支持，而图片检索目前没有特别好的方式。

最接近现有技术方案有采用内存数据库存储最近的数据，数据持久化到分布式数据库，检索时先在内存检索，内存检索不到再到分布式数据库中检索。该方案的缺点是以图搜图很多场景中不一定是搜索原图，所以很难界定是搜索到了还是没有，只能设置一个相似度阈值，超过这个阈值的认为是符合条件的结果。该方案基本都会到分布式数据库中检索，性能会很慢。最接近现有技术方案还有通过Spark分布式计算，从头完成HBase中特征数据的载入和比对，最后按照相似度排序，给出相似度最高的TopN数据。该方案的缺点是，Spark作为分布式计算的通用框架，解决了分布式的系统开发难题，但整个过程需要从数据载入开始，再加上框架本身开销，检索性能低。

发明内容

有鉴于此，本发明的目的在于提供基于内存图像集群的图像检索方法及系统，以在保证准确度的情况下，提升以图搜图的性能。

第一方面，本发明实施例提供了一种基于内存图像集群的图像检索方法，其中，包括：

采用ElasticSearch以及HDFS上的HBase和Parquet文件，并基于内存集群对图像数据进行分布式存储，得到持久化图像数据；

按照预设条数对所述持久化图像数据进行管理，得到图像热数据；

按照均衡分配原则将所述图像热数据进行节点的分配，得到热数据节点；

通过第一热数据节点将检索请求并行分发给每个所述热数据节点，以使所述热数据节点对所述图像热数据进行检索，得到第一目标图像数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述图像数据包括属性数据和特征数据，所述采用ElasticSearch以及HDFS上的HBase和Parquet文件，并基于内存集群对图像数据进行分布式存储，得到持久化图像数据，包括：

将所述属性数据通过所述HBase和ElasticSearch进行存储，将所述特征数据通过所述Parquet文件进行存储，以及将提供检索的属性字段数据通过所述Parquet文件进行存储，得到所述持久化图像数据；

构建所述内存集群，并通过所述内存集群对所述持久化图像数据进行分布式存储。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述按照预设条数对所述持久化图像数据进行管理，得到图像热数据，包括：