[发明专利]一种前端数据存储方法及装置

说明书

技术领域

本发明涉及前端终端设备的数据处理技术，尤其涉及一种前端数据存储方法及装置。

背景技术

独立磁盘RAID阵列（Redundant Array of Independent Disks，RAID）技术广泛应用于存储领域，在网络存储上尤其流行。RAID技术主要是通过磁盘的冗余性来保证存储在其上数据的可用性。随着单个磁盘容量的不断增加，目前主流磁盘的大小已经达到TB量级，同一个磁盘出现错误或磁道故障的概率也有所增加。

在监控系统应用网络存储时，前端编码设备都是先写视频流的索引区，再写视频流数据，为增加存储数据的可靠性，存储设备一般会配置RAID5阵列做数据保护。由于监控应用中存储的都是视频数据（甚至是高清的视频数据），因此数据量极其庞大，这导致了用户对存储方面运营成本比较敏感，因此磁盘容错技术以及延长磁盘的使用寿命成为客户关注的焦点。

目前网络存储在监控应用中存在以下问题：前端编码设备通常会在需要存储的连续的视频数据流中写入一些监控索引数据，监控索引数据一般比预分配的空间小，造成支持raid5的存储设备无法以整个条带为单位进行数据写入。此时存储设备可以采用重构写模式或者读改写模式。重构写(Reconstruct Write)的处理过程包括：从当前条带中不需要修改的条带块（Segment）中读取原来的数据，再和本条带中所有需要修改的Segment上的新数据计算奇偶校验值，并将新的Segment数据和没有更改过的Segment数据以及新的奇偶校验值一并写入到当前条带。显然重构写要牵涉更多的I/O操作，因此效率比整个条带一起写入要低很多。

读改写模式处理过程如下：先从需要修改的Segment上读取旧的数据，再从条带上读取旧的奇偶校验值；根据旧数据、旧校验值和需要修改的Segment上的新数据计算出这个条带上的新的校验值；最后写入新的数据和新的奇偶校验值。

请参考图1，假设RAID阵列的级别是RAID5。首先需要注意的是：其中表格的第二行是表示磁盘空间存放数据的性质，比如Index表示是索引区，data表示数据区，是一种形象的图示表现，并非磁盘数据。在前端编码设备进行数据写入时，如果当前要写入的数据包括索引数据，其可能会出现，预先分配的索引区的空间用不完的情形。假设数据存储在以64KB大小为条带块，9个盘的RAID5阵列上。假设分配的索引区大小为128KB。当前实际索引数据只需要写入64KB，则就会出现图1所示的Disk2的条带块为空，不需要写入数据的情形。此时存储设备会发现使用重构写是性能较佳的方式。即读出Disk2的数据（对业务无效）后计算校验数据Disk9，然后一次性写入Disk1～9的数据。假设此时读取Disk2上的数据时发生读错误，此时需要先读取Disk1，Disk3～Disk9计算出Disk2的数据，整个重构写的过程读数据次数从1次增加为8次，处理效率大打折扣。进一步来说，假设此时如果Disk8由于各种原因发生了读错误，由于RAID5仅仅支持此时就无法计算出Disk2的数据，重构写无法完成。

发明内容

有鉴于此，本发明提供一种前端数据存储装置，应用于前端设备上，该前端设备通过网络连接到网络存储设备，该装置包括：

写入判断单元，用于在写索引数据写入对应索引区时，判断当前写入的索引数据是否能够覆盖整个索引区，如果是转数据写入单元处理，否则转数据填充单元处理；其中所述索引区是网络存储设备预先分配的存储空间，其包括一个或者多个网络存储设备分配的条带块；

数据填充单元，用于使用无效数据对索引数据进行填充以使得填充后的索引数据能够覆盖对应的索引区，并将填充后的索引数据提交给数据写入单元；

数据写入单元，用于将索引数据写入对应的索引区。

本发明还一种前端数据存储方法，应用于前端设备上，该前端设备通过网络连接到网络存储设备，其特征在于，该方法包括：

A、在写索引数据写入对应索引区时，判断当前写入的索引数据是否能够覆盖整个索引区，如果是转数据写入单元处理，否则转数据填充单元处理；其中所述索引区是网络存储设备预先分配的存储空间，其包括一个或者多个网络存储设备分配的条带块；

B、使用无效数据对索引数据进行填充以使得填充后的索引数据能够覆盖对应的索引区，并将填充后的索引数据提交给数据写入单元；

C、将索引数据写入对应的索引区。