[发明专利]一种视频数据的存储方法和系统

说明书

本发明提供一种视频数据的存储方法和系统，应用于包括管理节点、存储节点、写客户端和读客户端的分布式视频监控系统中，该方法包括：管理节点接收来自写客户端的条带资源请求消息，并为写客户端分配条带，所述条带中包括至少一个用于存储校验块的数据块；管理节点向所述条带对应的多个存储节点发送数据块资源请求消息，接收各存储节点返回的携带数据块信息的数据块资源响应消息；管理节点利用数据块信息确定所述条带的信息，并通过条带资源响应消息将所述条带的信息发送给写客户端，写客户端利用所述条带的信息在所述条带对应的多个存储节点的相应数据块中写入视频数据。通过本发明的技术方案，支持高写入性能、高空间利用率、高重建性能。

技术领域

本发明涉及存储技术领域，尤其涉及一种视频数据的存储方法和系统。

背景技术

EC(Erasure Code，纠删码)作为一种前向错误纠正技术，主要应用在网络传输中避免数据的丢失。存储系统利用EC来提高存储可靠性。EC一般的实现方式如下：将要存储在系统中的文件分割成k块，然后对其编码得到n个文件分片(n>k)，并对n个文件分片进行分布式存储。基于此，只需要存在k’个可用的文件分片，就可以重构出原始文件，从而恢复出原始文件。纠删码的空间复杂度和数据冗余度较低，若文件分割成k块，编码后得到n个文件分片，则需要存放在n个系统节点上，消耗n/k倍的存储资源。

目前的EC存储方案均是针对互联网行业的存储特点设计的存储方案，其数据存储是一种少写多读模型，即读数据IO(Input Output)比写数据IO更多，且保障数据读取性能更重要。同时，数据的冷热区分比较明显，新数据的访问热度较高，一段时间(比如1个月)之前的老数据的访问热度较低。

而在视频监控存储领域，其存储特点与互联网行业的存储特点有明显不同，其数据存储是一种多写少读模型，即主要以前端设备的视频数据的存储为主，视频数据的读取相对较少，前端设备一般会以7×24小时连续的写入视频数据。同时，视频数据的冷热区分并不明显，视频数据的日常访问较少，只有案件发生之后，用户才会对案件相关的视频数据进行调阅和备份。

因此，目前的针对互联网行业的EC存储方案并不适用于视频监控存储领域，有必要为视频监控存储领域设计一种EC存储方案。

发明内容

本发明提供一种视频数据的存储方法，应用于包括管理节点、存储节点、写客户端和读客户端的分布式视频监控系统中，所述方法包括：

所述管理节点接收来自写客户端的条带资源请求消息，并为所述写客户端分配条带，所述条带中包括至少一个用于存储校验块的数据块；

所述管理节点向所述条带对应的多个存储节点发送数据块资源请求消息，并接收各存储节点返回的携带数据块信息的数据块资源响应消息；

所述管理节点利用数据块信息确定所述条带的信息，并通过条带资源响应消息将所述条带的信息发送给所述写客户端，由所述写客户端利用所述条带的信息在所述条带对应的多个存储节点的相应数据块中写入视频数据。

所述管理节点为所述写客户端分配包括至少一个用于存储校验块的数据块的条带的过程，具体包括：

所述管理节点从所述条带资源请求消息中获得所述写客户端所在的数据写入设备的设备标识，并利用所述设备标识查询预先配置的冗余保护表，得到对应的冗余保护数量，并为所述写客户端分配包括所述冗余保护数量个用于存储校验块的数据块的条带；其中，所述冗余保护表用于维护数据写入设备的设备标识与冗余保护数量之间的对应关系，且位于特定位置的数据写入设备的冗余保护数量大于位于非特定位置的数据写入设备的冗余保护数量。

所述管理节点为所述写客户端分配包括至少一个用于存储校验块的数据块的条带的过程，具体包括：