[发明专利]基于Spark框架的海量人脸图像检索系统及检索方法

权利要求书

1.一种基于Spark框架的海量人脸图像检索系统，其特征在于，所述检索系统包括：

前端处理系统，与用户进行交互，用于采集待检索图像并将所述待检索图像发送给Spark分布式流式计算集群，及将检索结果反馈给用户；

与所述前端处理系统连接的Spark分布式流式计算集群，在索引阶段，用于从HDFS分布式文件系统中读取海量人脸图像数据，并对读取的海量人脸图像数据进行分布式并行处理，生成视觉单词词汇表和倒排索引表；在检索阶段，用于对待检索图像进行分布式并行处理，根据视觉单词词汇表和倒排索引表对处理后的待检索图像进行分布式并行检索，生成检索结果，并将检索结果反馈给前端处理系统；

与所述Spark分布式流式计算集群连接的HDFS分布式文件系统，用于存储海量人脸图像数据；

与所述Spark分布式流式计算集群连接的HBase分布式列式数据库，用于存储视觉特征单词词汇表及倒排索引表；

其中，所述Spark分布式流式计算集群包括：

驱动器，在索引阶段，用于从HDFS分布式文件系统中读取海量人脸图像数据和从执行器中读取局部区域图像，进行拆分后分配给执行器；在检索阶段，用于将前端处理系统发送的待检索图像发送给执行器，再从执行器中读取局部区域图像，进行拆分后重新分配给执行器，以及对局部区域相似图像进行处理，生成相似图像列表并反馈给前端处理系统；

以及和所述驱动器连接的多个执行器，在索引阶段，用于分别接收、处理驱动器分配的人脸图像和局部区域图像，生成视觉单词词汇表和倒排索引表；在检索阶段，用于接收、处理驱动器发送的待检索图像和待检索图像的局部区域图像，并根据视觉单词词汇表和倒排索引表，分别对待检索图像的局部区域图像进行检索，生成局部区域相似图像。

2.根据权利要求1所述的基于Spark框架的海量人脸图像检索系统，其特征在于，所述执行器通过OpenCV视频/图像处理库对接收的人脸图像和待检索图像进行人脸检测，识别出局部区域图像。

3.一种如权利要求1或2所述的基于Spark框架的海量人脸图像检索系统的检索方法，其特征在于，所述检索方法包括索引阶段和检索阶段，其中，

索引阶段：Spark分布式流式计算集群从HDFS分布式文件系统中读取海量人脸图像数据，并对读取的海量人脸图像数据进行分布式并行处理，生成视觉单词词汇表和倒排索引表，并保存到HBase分布式列式数据库中；

检索阶段：前端处理系统接收到用户请求后，采集待检索图像后并将所述待检索图像发送给Spark分布式流式计算集群；所述Spark分布式流式计算集群对待检索图像进行分布式并行处理后，再从HBase分布式列式数据库中获取视觉单词词汇表及倒排索引表，并采用Spark Transformation及Spark Action操作对处理后的待检索图像进行分布式并行检索，生成检索结果，最后将检索结果通过前端处理系统反馈给用户。

4.根据权利要求3所述的检索方法，其特征在于，所述索引阶段包括：

1.1)驱动器从HDFS分布式文件系统中读取海量人脸图像数据，并以图像为粒度进行数据拆分，将读取的人脸图像数据分配给各执行器；

1.2)各执行器分别接收驱动器分配的人脸图像数据，并通过OpenCV视频/图像处理库对接收到的每张人脸图像进行人脸检测，识别出每张人脸图像的局部区域图像，并计算得到每张局部区域图像对应的视觉特征描述符向量；

1.3)驱动器以局部区域图像为粒度对所有执行器中的局部区域图像进行拆分，将同一类局部区域图像分配到同一执行器；

1.4)各执行器根据分配的局部区域图像对应的视觉特征描述符向量，通过聚类算法对其内的视觉特征描述符向量进行聚类，生成视觉单词词汇表并保存到HBase分布式列式数据库中，再通过对视觉单词词汇表中的视觉单词进行分类统计，并根据分类统计结果计算视觉单词的权重，生成倒排索引表，保存到HBase分布式列式数据库中，其中，所述倒排索引表以key-value键值对的形式表示。