[发明专利]基于Spark框架的海量人脸图像检索系统及检索方法

说明书

本发明提供一种基于Spark框架的海量人脸图像检索系统及检索方法，其中，所述检索系统包括：前端处理系统；与所述前端处理系统连接的Spark分布式流式计算集群；与所述Spark分布式流式计算集群连接的HDFS分布式文件系统；以及与所述Spark分布式流式计算集群连接的HBase分布式列式数据库。通过本发明提供的基于Spark框架的海量人脸图像检索系统及检索方法，解决了现有的人脸检索方法效率低的问题。

技术领域

本发明属于视频人脸图像检索技术领域，特别是涉及一种基于Spark框架的海量人脸图像检索系统及检索方法。

背景技术

近年来随着网络带宽技术和物联网行业的进步，智能手机等智能终端设备和应用迅速普及，围绕图像检索技术的相关研究越来越深入。在传统互联网端，谷歌、百度等大型互联网公司先后推出了以图搜图应用，著名电子商务平台淘宝网推出了通过图片搜索相似商品的功能。在移动互联网端，伴随着互联网知识的高速传播，植物类型识别、宠物狗品种识别等创新应用蓬勃发展。

在人脸搜索领域，目前，普遍采用的人脸图像检索技术为传统的BoVW(Bag ofVisual Words)视觉词袋检索模型，其技术要点在于，借鉴了文本检索技术中的词袋模型，通过提取图像中的视觉特征描述符(descriptor，也称特征点)并加以聚类形成视觉词汇表，对于一个待检索的图像，通过检测出的一组视觉词汇来表示，从视觉词汇表中找到相关的单词，计算拥有这些视觉单词的图像跟检索图像的相似度并以此排序，从而得到检索结果。这种方法在大规模人脸图像的场景下，将出现两点瓶颈，一是单机情况下，单位时间内能够处理的人脸图像数量有限，即便是开启多线程，其处理效率依然受限于机器的CPU核心数，无法无限扩展；二是视觉特征描述符的聚类过程缓慢，由于视觉特征描述符是高维向量，如果采用单机进行K均值聚类，其时间消耗将非常高。

鉴于此，有必要设计一种新的基于Spark框架的海量人脸图像检索系统及检索方法用于解决上述技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于Spark框架的海量人脸图像检索系统及检索方法，用于解决现有的人脸检索方法效率低的问题。

为实现上述目的及其他相关目的，本发明提供一种基于Spark框架的海量人脸图像检索系统，所述检索系统包括：

前端处理系统，与用户进行交互，用于采集待检索图像并将所述待检索图像发送给Spark分布式流式计算集群，及将检索结果反馈给用户；

与所述前端处理系统连接的Spark分布式流式计算集群，在索引阶段，用于从HDFS分布式文件系统中读取海量人脸图像数据，并对读取的海量人脸图像数据进行分布式并行处理，生成视觉单词词汇表和倒排索引表；在检索阶段，用于对待检索图像进行分布式并行处理，根据视觉单词词汇表和倒排索引表对处理后的待检索图像进行分布式并行检索，生成检索结果，并将检索结果反馈给前端处理系统；

与所述Spark分布式流式计算集群连接的HDFS分布式文件系统，用于存储海量人脸图像数据；

与所述Spark分布式流式计算集群连接的HBase分布式列式数据库，用于存储视觉特征单词词汇表及倒排索引表。

优选地，所述Spark分布式流式计算集群包括：

驱动器，在索引阶段，用于从HDFS分布式文件系统中读取海量人脸图像数据和从执行器中读取局部区域图像，进行拆分后分配给执行器；在检索阶段，用于将前端处理系统发送的待检索图像发送给执行器，再从执行器中读取局部区域图像，进行拆分后重新分配给执行器，以及对局部区域相似图像进行处理，生成相似图像列表并反馈给前端处理系统；