[发明专利]一种分布式计算集群的数据存储处理系统及方法

摘要

本发明提供一种分布式计算集群的数据存储处理系统及方法，从存储单元中获取承载量超出阈值的数据文件，将文件进行拆分为至少一个块文件，块文件的数量与计算单元的数量相对应；将每个块文件的地址分发给一个计算单元；每个计算单元根据接收的块文件地址读取块文件数据信息，对块文件进行计算处理，并将计算结果写入到计算结果文件中，发送给控制单元；接收计算单元发送的计算结果文件，并读取计算结果文件，将计算结果文件储存至存储单元。这样在计算机集群中，控制单元获取承载量超出阈值的数据文件，将该数据文件进行拆分，通过计算单元进行处理。这样将大文件进行了拆分并进行了分块处理提示处理效率，充分利用集群中的处理资源。

主权项

一种分布式计算集群的数据存储处理系统，其特征在于，包括：存储单元，控制单元和至少一个计算单元；控制单元用于从存储单元中获取承载量超出阈值的数据文件，将文件进行拆分为至少一个块文件，块文件的数量与计算单元的数量相对应；设置每个块文件的地址，将每个块文件的地址分发给一个计算单元；每个计算单元根据接收的块文件地址读取块文件数据信息，对块文件进行计算处理，并将计算结果写入到计算结果文件中，发送给控制单元；控制单元还用于接收计算单元发送的计算结果文件，并读取计算结果文件，将计算结果文件储存至存储单元；存储单元用于储存数据文件，计算结果文件以及系统的数据信息，并将数据共享给集群中单元使用。