[发明专利]基于Hadoop架构的分布式视频存储管理方法及系统

说明书

技术领域

本发明涉及分布式视频存储技术，尤其涉及一种基于Hadoop架构的分布式视频存储管理方法及系统。

技术背景

随着智慧城市概念的不断发展，视频监控系统逐渐被普及。视频监控系统由于前端监控设备的增加且高清化，将产生海量的视频数据。动态变化的监控设备连接管理以及海量视频数据的存储对监控系统的管理、存储性能都提出了严峻的考验。如何存储并管理这些视频数据，是我们急于解决的问题。

现有的视频存储管理方案主要是基于视频服务器的，它由前端监控设备、视频服务器和视频存储设备三部分构成。前端监控设备负责获取监控的视频数据(H.264格式)，然后通过RTSP协议传送到视频服务器。视频服务器收到摄像头发来的视频流数据后对视频数据进行编码和分割，生成视频文件，然后存储到存储设备中。现有的视频存储管理方案存在如下问题：

(1)负载过重。由于视频数据在写入和读取的时候都需要经过视频服务器，如果有几百路视频数据同时写入时，可能会有上百MB的带宽需求，当前端监控设备的数量增加到一定程度时，视频服务器难以承受几百甚至上千路视频数据的并发写入，因此视频服务器将成为整个存储系统的单一故障点。

(2)连接分配不均衡。现有的方案中，存储系统与前端监控设备建立连接任务，大都由视频服务器来完成，这样导致了(1)总所述的问题。也有方案采用静态节点分配的方法与前端监控设备建立连接，这样导致了连接任务分配不均衡，使部分点节点负载过重，另一部分节点负载过轻。

针对以上几个问题，本发明引入分布式Hadoop架构及其设计理念，在传统的Hadoop的master-slave架构上进行优化，解决负载均衡的问题。同时考虑到控制管理和视频数据流的存储问题，给出了实时动态的节点管理方案。

发明内容

本发明的目的是解决现有视频存储管理方案的问题与不足，提供了一种基于Hadoop架构的分布式视频存储管理方法及系统，以解决前端监控设备接入到视频服务器或管理节点所引发的负载过重、连接分配不均衡的问题，从而实现视频数据的高效存储。

为了实现上述目的，本发明采用如下的技术方案：

1.一种分布式视频存储系统，由前端监控设备、云存储系统(管理节点、存储节点)构成。前端监控设备包含N个网络摄像机，它能够实时采集视频信号，并通过RTSP协议将采集的视频流传输到指定的流媒体服务器上。云存储系统包含一个管理节点和M个存储节点，管理节点负责管理整个集群，并为新接入集群的前端监控设备分配存储节点，同时负责处理监控设备的断线重连等问题。每个存储节点上嵌入视频流接收、编码、分割软件，它负责接收并存储实时的视频流，并监控视频流连接是否断开。前端监控设备与云存储系统通过网络单元连接。

2.一种分布式视频存储管理方法，管理节点时刻监控整个集群的运行状况，包括各个存储节点的空闲磁盘空间大小、视频连接任务的数量等。每当有新的前端监控设备要接入集群时，管理节点查看各个存储节点的状态信息，利用动态的负载均衡机制为监控设备分配一个存储节点，同时通知该存储节点建立与该监控设备的连接任务。存储节点接收到管理节点发送的命令后，启动与该监控设备的连接任务，将实时的视频流切割并存储到本地的文件系统中，最后利用IPC机制通知管理节点建立该视频相应的元信息和数据块索引，让管理节点来管理该视频文件。具体包括如下步骤：

(1)配置前端监控设备，将网络摄像头接入网络。通知管理节点有新的前端监控设备需要接入云存储系统；

(2)管理节点获取前端监控设备的配置信息

(3)利用动态负载均衡机制为视频连接任务分配一个存储节点，并通知该存储节点启动视频连接任务

(4)存储节点接收到消息后，根据配置信息启动对应的视频连接任务

(5)存储节点获取视频流，并生成视频文件，通知管理节点来管理该视频文件

本发明的效益是：利用动态的负载均衡机制，将获取监控视频流的任务下发到各个存储节点上执行，有效避免了视频服务器在并发获取视频流过程中出现的负载过重、连接分配不均衡的问题，提高了分布式存储系统的可用性及性能，解决了大规模监控系统中的分布式视频存储问题。另外，在存储节点上获取监控视频流的同时，可以直接对视频流进行转码处理，使得视频处理的方案更加灵活。最后将视频文件按HDFS的块大小进行切片，并生成对应的校验信息，直接通知管理节点来管理该视频文件，省去了重复上传到HDFS的过程。

附图说明：

图1：基于Hadoop架构的分布式视频存储系统

图2：总体执行框图