[发明专利]数据处理方法和装置

说明书

本发明实施例提供一种数据处理方法和装置。本发明数据处理方法，包括：接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取管理节点对网络中各数据存储节点进行区域划分的区域划分结果；根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。本发明实施例在接收到EC任务后各区域分别进行数据处理，进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理，发挥分布式并行处理的优点，充分利用了网络资源和计算资源。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据处理方法和装置。

背景技术

云计算、大数据所带来的海量数据，对越来越庞大的数据中心带来考验，软件定义基础设施(Software Define Infrastructure，简称SDI)将是未来数据中心的发展趋势。SDI规划了利用三维环状网络(3D Tours)、三维网状网络(3D Mesh)等网络拓扑来提升网络的性能和应用的性能，3D Torus和3D Mesh是现在用的比较多的网络拓扑结构，其在平面的基础上，向三维空间扩展，节点的连接采用GE或IB网络，节点之间的消息传递、负载均衡有专有的算法，具有多路径、简单、对称、易扩展等特点。目前使用容删码(Erasure Code，简称EC)算法实现数据容错技术也已经规划在SDI中，在3D Tours、3D Mesh等网络拓扑下运行分布式文件系统或分布式存储软件，利用该EC算法来编码和解码数据。

EC算法的具体原理为，将n份原始数据，增加m份校验数据，并能通过n+m份中的任意n份数据，还原为原始数据。其包含了编码(Encoding)和解码(Decoding)两个过程，将原始的n份数据变为n+m份是编码，n+m份数据可分散存放在不同的位置，如果有任意小于m份的数据失效，仍然能通过剩下的数据还原出来，还原的过程叫解码。由此可见通过EC算法，只保留原始数据和校验数据，当数据丢失时候可以通过EC算法恢复原始数据，这样在保证数据存储的可靠性的同时大大的减少了存储资源，降低了企业存储成本。典型的EC算法有XOR、Reed-Solomon、Cauchy-Reed-Solomon等算法。EC算法实际上就是利用线性代数的矩阵相乘的原理，先根据原始数据的个数和校验数据的个数得到生成矩阵，使用生成矩阵乘以原始数据得到校验数据。恢复的过程即利用生成矩阵的逆矩阵乘以现有数据来得到丢失的数据。不管生成矩阵是范德蒙矩阵还是Cauchy矩阵或是优化过的矩阵，其核心都是矩阵的乘法。

然而，在3D Tours、3D Mesh等网络拓扑下运行分布式文件系统过程中，利用现有EC算法进行编码和解码数据，以保证数据存储的可靠性时，仍然不能有效利用网络资源，对于网络资源消耗比较大，因此如何在3D Tours、3DMesh等网络拓扑下进一步提升EC算法的性能是如今亟待解决的一技术问题。

发明内容

本发明实施例提供一种数据处理方法和装置，以解决现有EC算法不能有效利用网络资源，对于网络资源消耗比较大的问题。

第一方面，本发明实施例提供一种数据处理方法，包括：

接收管理节点发送的数据处理任务消息，所述数据处理任务消息携带有原始数据个数和效验数据个数；

根据所述原始数据个数和所述效验数据个数获取生成矩阵；同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果，其中，所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息；

根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理，所述数据处理包括生成效验数据处理和恢复原始数据处理。

结合第一方面，在第一方面的第一种可能的实现方式中，若所述数据处理为生成效验数据处理；