[发明专利]数据文件可靠存储方法

说明书

本发明提供了一种数据文件可靠存储方法，该方法包括：将接收到的数据根据数据块名划分，并通过与数据块名对应的通道传送给DataNode的中继单元；将来自所述中继单元的结果数据传输给对应的云存储服务器。本发明提出了一种数据文件可靠存储方法，实现了实时变化的大数据集合的高效实时处理。

技术领域

本发明涉及云存储，特别涉及一种数据文件可靠存储方法。

背景技术

随着信息技术的飞速发展，大量数据源带来数据规模的爆发式增长，对大数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对大数据云计算系统的改进。云计算系统中将需要进行复杂计算的大数据划分成小块后，分交由多台DataNode并行处理，并将局部计算结果整合得出最终结果。然而在异构的大数据环境中，存在实时传输的、持续产生的、非结构化数据。例如传感器实时产生的监控数据，社交网络产生的实时通信数据。面对这些始终变化着的大数据，如果不能对其进行高效率的实时处理，将错过数据块中携带的关键信息。现有的云计算系统无法整合来自多个异构数据源的数据，包括数值计算、数据挖掘和模型预测，实时地给出用户关心的结果，也无法跨不同服务器共享存储资源。即无法满足多路径环境和云计算系统多节点访问存储需求；包括对访问冲突的防止和资源均衡的实现。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种数据文件可靠存储方法，包括：

将接收到的数据根据数据块名划分，并通过与数据块名对应的通道传送给DataNode的中继单元；将来自所述中继单元的结果数据传输给对应的云存储服务器。

优选地，所述中继单元接收划分后的数据，并将接收到的数据放入以待处理业务名称命名的队列中；

基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给DataNode计算单元；

所述计算单元开启的待处理业务，对来自中继单元的数据进行计算，并向中继单元输出计算之后的数据块。

优选地，所述方法还包括：

使DataNode的数据传输和内部的逻辑计算隔离，将输入数据按数据块名划分，并将数据传送给中继单元；中继单元根据数据和当前DataNode的待处理业务的关联关系，维护一个针对所有处于就绪状态的待处理业务的分层队列。

优选地，所述中继单元根据DataNode的负载确定启动多少个业务，并从分层队列中选择相应数量的、优先级最高的待处理业务启动；

所述中继单元还将数据传送给执行待处理业务的计算单元，并接收经过计算单元处理后的结果数据；在包括上述DataNode的云计算系统中，对输入或结果数据的划分、融合和处理都在内存中完成。

本发明相比现有技术，具有以下优点：

本发明提出了一种数据文件可靠存储方法，实现了实时变化的大数据集合的高效实时处理。

附图说明

图1是根据本发明实施例的数据文件可靠存储方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种数据文件可靠存储方法。图1是根据本发明实施例的数据文件可靠存储方法流程图。本发明用于大数据处理的云计算系统包括多个DataNode。每个DataNode包括：