[发明专利]嵌入式通信设备数据传输方法

说明书

技术领域

本发明涉及视频处理，特别涉及一种嵌入式通信设备数据传输方法。

背景技术

随着信息技术的不断发展，数据日益成为人们日常生活中重要资源。爆炸式增长的数据必然带来存储设备的持续增加。目前，数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万，但在规模巨大的存储环境系统中，存储节点异常或者失效已成为一种普遍现象；与此同时，因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。对于视频编码存储而言，计算量少的编译码复杂度与数据丢失时如何利用最少的数据量进行数据恢复都具有局部的时间特性，例如存储中心网络带宽因素，CPU计算能力因素，在视频文件利用编码冗余策略进行存储时，会对文件的存储时间性能造成影响。若系统内具有高速带宽与高性能的计算能力，视频存储单位大小的文件就会消耗更短的时间。而较高的可靠性与系统内最小的数据冗余与系统消耗较少的电能具有全局的时间特性，这将会直接决定系统消耗的设备成本，管理成本及能耗成本。为了满足日益扩展的数据存储需求，人们对视频数据存储的可靠性，可用性等相关特性提出了更高的要求，如何实现数据的低冗余度高可靠性存储已经成为业界面临的一个巨大挑战。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种嵌入式通信设备数据传输方法，包括：

当检测到存储节点发生数据丢失时，调度分布式存储在子集中的校验数据块，对丢失数据块进行重建。

优选地，所述调度分布式存储在子集中的校验数据块之前，还包括：

通过下载部分原数据分块与部分校验数据块，通过重建的方式在嵌入式终端重建丢失数据块，恢复完成后，在使用文件的同时将已经重建出的数据分块，经过数据验证，重新发送到存储系统。

优选地，所述调度分布式存储在子集中的校验数据块，进一步包括：

嵌入式终端调度子集中可满足重建要求的最少校验数据块。

优选地，若出现多个存储节点发生异常，计算恢复所有文件所需要的计算量，并按照计算量的均衡负载原则，对恢复节点进行任务分配。

优选地，所述当校验信息子集中出现节点异常时，调度源文件进行二次编码，并再次部署于新加入的节点上。

优选地，利用定期心跳和事件广播组合的方式实现系统节点状态的监测，当系统出现新的节点时，该节点将通过广播的方式将本节点的信息传播给协调服务器及各个存储节点；同时，每个存储节点定期向其对应的文件管理节点报告自已存在的状态，如果对应的文件管理节点一段时间内没有收到心跳则认为该存储节点异常。

优选地，异常节点在恢复过程中，首先检测与其余节点之间的连接情况，当恢复文件的节点与其余节点具有差别较大的网络连接时，对各个链路发送测试数据包进行数据通路测评，并进行排序，并计算出所需恢复的最少文件块个数p，从而从最优的p个网络连接中，获取文件块，对文件进行恢复。

本发明相比现有技术，具有以下优点：

本发明提出了一种嵌入式通信设备数据传输方法，尽可能少地利用视频存储节点集内部网络带宽及计算能力来实现数据恢复，在实现数据高可用性的同时，提高了扩展性能。

附图说明

图1是根据本发明实施例的嵌入式通信设备数据传输方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种嵌入式通信设备数据传输方法。图1是根据本发明实施例的嵌入式通信设备数据传输方法流程图。

本发明的视频数据存储系统采用了存储节点子集扩展策略。在系统软件结构上采用新的数据恢复方式，同时利用嵌入式终端的计算能力，使得系统尽可能少的利用存储节点集内部网络带宽及计算能力来实现丢失数据的恢复重建。将丢失数据块的恢复功能部分的迁移到嵌入式终端。视频数据存储系统中将单个文件的数据经过编码后分块封装，均匀地存储于镜像子集的不同节点上，系统提供一个可扩展的存储卷，卷内的数据采用层次目录结构组织，支持多机多进程的并发存取。使系统可根据存储容量的需求进行镜像子集扩展，利用各个镜像子集节点存储能力达到按需扩展的目的。