[发明专利]一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法

说明书

技术领域

本发明属于云计算和模式识别领域，具体涉及一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法。

背景技术

现代社会中，视频监控是实现社会公共安全防控的主要监控系统。遍布城市各处的视频信息采集点将海量的视频信息汇集到监控中心，为城市的公共安全防控提供了海量的信息。但是，由于缺乏智能的海量视频分析技术，这些信息的利用率极低。为了充分利用这些信息，保障社会安全，人们尝试将人脸识别技术应用于智能视频分析中，实现犯罪嫌疑人身份的快速确认。然而，面对海量的人脸图像信息，人脸识别的搜索速度则完全无法满足安全部门的应用需求，迫切需要一种快速的海量人脸图像搜索比对方法。

目前，提升人脸图像搜索速度的主要途径是使用高性能的工作站代替一般计算机，这种方案不仅价格昂贵，而且可扩展性差。云计算技术的迅速发展为解决人脸图像的快速搜索提供了条件，已经有一些基于云计算的解决方案被提了出来。例如：中国专利文献公开号：CN202433901U，名称为：分布式智能人脸视频检索系统，其是一种包括工作终端、WEB服务器、任务调度服务器和监控终端的分布式智能人脸视频检索系统，实现实时检索并降低系统搭建成本；中国专利文献公开号：CN102360355A，名称为：基于云计算环境的人脸识别搜索比对引擎，其针对云计算环境人脸识别搜索比对引擎的接口兼容、授权处理、资源调度及分配等问题给出了解决方案。然而，这些方法或系统很少提及云计算技术的具体实现，同时，这些方法使用自建的分布式体系，稳定性差。

云计算技术的实现是一项较为复杂且综合度高的工作，对面向海量人脸图像信息的搜索引擎而言，使用未经实践检验的未成熟云计算框架所构建的系统，实际引擎的架设与维护成本难以控制，且稳定性差，无法满足公共安全部门的实际使用需求。近年来，由Apache基金会支持的Hadoop云计算框架（是一个分布式系统基础架构）已被Facebook、Google等国际顶尖互联网公司所采用，且已经在海量信息检索方面获得了成功，这为构建高效、易于维护与扩展的云计算人脸识别搜索引擎提供了条件。

发明内容

为了解决基于云计算的海量人脸识别搜索引擎开发难度高、稳定性差、难于维护的缺点，本发明提出一种基于Hadoop框架的人脸识别搜索引擎设计方法，以成熟的Hadoop云计算框架为基础，实现稳定高效的海量人脸识别。

本发明首先提出一种建立高效人脸特征向量数据索引表的方法，保证该人脸识别搜索引擎的空间索引实时性与可靠性。

该方法以包含内层、中间层和外层的三层结构的云计算框架为基础，其中，内层由分布式的人脸身份信息数据表构成，用于存放海量的人脸图像、人脸特征向量以及对应的身份信息；中间层由人脸特征向量聚类索引表与聚类名单表构成，用于信息索引表的建立与维护；外层用于接收任务、人脸特征向量计算与任务分配。所述方法将利用人脸特征提取方法计算得到的海量人脸图像的人脸特征向量储存在非结构化的HBase数据库中，得到人脸身份信息数据表，利用K均值聚类算法对该表中人脸特征向量的每一维特征分别进行聚类分析后建立信息索引表，包括人脸特征向量聚类索引表和若干张聚类名单表。

基于以上方法，本发明进一步提出一种基于Hadoop的海量人脸识别搜索引擎设计方法，所述方法是将海量人脸识别过程分解为海量数据组织和人脸特征搜索比对两个阶段。海量数据组织阶段即是建立高效人脸特征向量数据索引表的阶段，在此阶段将利用特征提取方法计算得到的海量人脸图像的特征向量储存在非结构化的HBase数据库中，得到人脸身份信息数据表，利用K均值聚类算法对该表中人脸特征向量的每一维特征分别进行聚类分析后建立信息索引表（包括一张人脸特征向量聚类索引表和若干张聚类名单表）；在人脸特征搜索比对阶段，利用待比对人脸图像的特征向量的每一维特征在信息索引表中进行检索，合并检索得到的结果信息，以大大缩小需要比对的人脸数据范围，然后利用Hadoop框架中的MapReduce并行计算进行人脸特征向量对比计算，提高计算效率与均衡载荷。

本发明构建了一种包含内层、中间层和外层的三层结构云计算框架来实现海量数据组织和人脸特征搜索比对。内层由分布式的人脸身份信息数据表构成，用于存放海量的人脸图像、人脸特征向量以及对应的身份信息；中间层由人脸特征向量聚类索引表与聚类名单表构成，用于搜索引擎的信息索引表的建立与维护；外层用于接收任务、人脸特征向量计算与任务分配。

基于以上所述的三层结构云计算框架，本发明的海量人脸识别搜索引擎的实现包括以下步骤：