[发明专利]一种多路实时视频数据存储系统及其进行缓存控制的方法

说明书

技术领域

本发明涉及数据存储领域，尤其涉及的是一种多路实时视频数据存储系统及其进行缓存控制的方法。

背景技术

随着科学技术的发展，在我们熟悉的物质城市的身边已经迅速形成一个信息化、虚拟化或者说是数字化的“新城市”。在这个“新城市”中，可以通过网络进行在线购物、远程医疗、在线学习。人们将生活在“智慧社区”之中。

目前，国内外对智慧社区的研发主要集中在智慧社区系统集可视对讲、家居安防、非接触卡门禁、周界防范、电子巡更、网络化停车场、四表远抄、家电控制、无线安防、远程交互几个领域。智慧社区其具体实现方法是利用云计算与物联网这两大新兴技术作为基础平台与基础信息采集手段，结合已有流行的控制器与相关软件，做增量式开发。

然而现有智慧社区中，传统的实时视频数据解决方案为了确保海量数据的可靠与可用性，往往采用昂贵的硬件存储设备进行备份与冗余，随着视频监控清晰度的提高，长时间实时视频监控数据的廉价可靠的保存成为智慧社区发展的瓶颈。智慧社区对存储系统的存储容量、数据可用性以及I/O性能等方面提出了巨大挑战。构建超大容量、高性能、高可靠性的存储系统是智慧社区工业界一直追求的目标。现代存储系统往往由成百上千个存储节点组成，多个存储节点同时出现故障概率大大增加，会出现因存储节点故障导致数据丢失的灾难性后果。因此，如何设计多节点容错存储系统的数据容错方案，如何提高多节点容错存储系统的 I/O 性能，已是智慧社区实施生产中迫切需要解决的问题。

为了解决上述问题，本发明专利采用已有开源软件Hadoop作为分布式文件存储系统。Hadoop的最大优势在于采用廉价的计算机作为存储设备，利用冗余机制实现存储数据的可靠性。虽然Hadoop解决了智慧社区海量数据的存储问题，然而由于Hadoop的NameNode（名字节点）采用主热备的架构，为了降低失效备援带来的性能的损失，NameNode（名字节点）采用元数据的方式仅仅对文件系统的管理数据进行统一高效管理，并将此管理过程划分为初始阶段、复制阶段和失效备援阶段三个阶段。为了简化Namenode（名字节点）与Datanode（数据节点）之间的文件系统管理元数据的同步，在Hadoop的分布式文件存储系统HDFS（Hadoop Distributed File System， hadoop分布式文件系统）中，在某个时间间隔，namenode（名字节点）提供一个租赁权去认证一个写入者，造成在任何时刻仅仅能够由一个客户端写入。这种写入的机制明显满足不了智慧社区开发中，多路实时视频数据流快速连续写入。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种多路实时视频数据存储系统及其进行缓存控制的方法。

本发明解决技术问题所采用的技术方案如下：

一种基于HDFS的多路实时视频数据存储系统，所述存储系统包括与主机连接的主机访问接口和与存储节点连接的存储节点访问接口，以及用于存储缓存文件的系统缓存和对所述系统缓存进行缓存控制的系统控制器，其中，

所述系统缓存包括动态随机存取存储器和固态硬盘，所述动态随机存取存储器用于缓存主机的主机读数据块和主机写数据块，所述固态硬盘用于存放主机写回所述存储系统的主机写数据块；

系统控制器包括缓存控制器，所述缓存控制器用于建立待写队列和已写队列，所述待写队列用于存放所述动态随机存取存储器的主机写队列中未写入存储节点的主机写数据块；所述已写队列用于存放所述动态随机存取存储器的主机写队列中已写入存储节点的主机写数据块。

所述的基于HDFS的多路实时视频数据存储系统，其中，所述缓存控制器还用于控制当动态随机存取存储器的主机写队列中加入一个新的主机写数据块时，所述待写队列也加入该主机写数据块。

所述的基于HDFS的多路实时视频数据存储系统，其中，所述缓存控制器还用于在将新的主机写数据库加入待写队列时，先查找所述待写队列中是否已包含该新的主机写数据块所在条带的其他主机写数据块，如是则将该新的主机写数据块数据块加入到所在条带的水平链表表尾，如不是则新建一个水平链表加入到其表尾；

并在 DRAM 缓存中主机写队列的一水平链表上的主机写数据块被写入到存储节点后将所述待写队列中对应的水平链表删除，并将该水平链表加入到已写队列当中。

所述的多路实时视频数据存储系统进行缓存控制的方法，其中，

缓存控制器构建多个管理节点，包括一个主节点和多个活跃从节点；