[发明专利]一种面向海量监控数据的检索分析系统

说明书

本发明涉及一种面向海量监控数据的检索分析系统，包括：云存储模块，保存监控原始数据，监控原始数据带有时间和地理位置信息；计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块，时空检索子模块通过对监控原始数据进行时空检索，得到符合时空条件的数据，大数据计算子模块对符合时空条件的数据进行信息筛选，匿名计算集群子模块对筛选后的数据进行自定义计算，自定义计算在数据请求中定义，各子模块分别将自身产生的数据发送给云存储模块；分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。与现有技术相比，本发明具有存储容量大、检索速度快等优点。

技术领域

本发明涉及一种数据处理系统，尤其是涉及一种面向海量监控数据的检索分析系统。

背景技术

视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展，因此产生的海量监控数据面临本地存储空间有限、异地检索分析效率低的问题。

海量监控数据具有如下特点：

1)监控文件数量大，文件大小各不相同；

2)监控文件会额外包含地理位置及时间信息；

3)监控文件种类繁多，通常来自于摄像头、城市传感器等，用于监控道路状态、人流密度、人群移动、安全防护、访问控制、环境状况等，解析方式各有不同，并且通常为非结构化数据。

因此，需要一种能够实现海量监控数据高效检索分析的系统，将海量监控数据统一管理，以提供高效的检索服务。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高效的面向海量监控数据的检索分析系统。

本发明的目的可以通过以下技术方案来实现：

一种面向海量监控数据的检索分析系统，包括：

云存储模块，保存监控原始数据，所述的监控原始数据带有时间和地理位置信息；

计算服务模块，包括时空检索子模块、大数据计算子模块和匿名计算集群子模块，所述的时空检索子模块通过对监控原始数据进行时空检索，得到符合时空条件的数据，所述的大数据计算子模块或匿名计算集群子模块对符合时空条件的数据进行信息筛选，匿名计算集群子模块对筛选后的数据进行自定义计算，所述的自定义计算在数据请求中定义，各子模块分别将自身产生的数据发送给云存储模块；

分布式任务部署及监控模块，接收数据请求、生成任务并发送给计算服务模块、监控任务进度。

所述的时空检索子模块根据监控原始数据的时间和地理位置信息进行过滤，得到满足时空条件的监控原始数据。

所述的大数据计算子模块采用Spark集群或Hadoop集群对数据进行过滤。

所述的分布式任务部署及监控模块具有第三方服务接口。

系统中进程间的通讯通过分布式消息总线进行。

所述的系统还包括分布式应用程序协调器，为系统中各模块和子模块提供一致性服务。

所述的自定义计算在Docker容器中进行。

与现有技术相比，本发明具有以下优点：

(1)通过云存储模块存储带有时空索引信息的监控数据，存储容量大；数据检索、计算等任务分发给计算服务模块，计算服务模块中的子模块进行任务分工，检索速度快，可实现复杂多条件的数据检索及处理。