[发明专利]容错处理方法及装置

摘要

本发明公开了一种容错处理方法及装置，属于计算机技术领域。方法包括：在任务执行过程中，当检测到内存不足的错误信息时，获取失败任务的原始数据；将原始数据进行切分，得到至少一个数据块；调用数据处理节点对至少一个数据块进行运算处理；获取至少一个数据块对应的运算结果；将各个运算结果进行合并，得到最终运算结果，向客户端发送最终运算结果。由于对原始数据进行了切分处理，所以实现了将原始任务切分为多个子任务，在子任务执行过程中，相较于执行整个任务而言降低了内存使用率，并调用本地从节点或其他从节点分别对多个子任务进行处理，可保证在本地从节点内存不足的情况下对失败任务进行有效处理，提升了任务执行效率和容错可靠性。

主权项

1.一种容错处理方法，其特征在于，所述方法包括：在任务执行过程中，当检测到内存不足的错误信息时，获取失败任务的原始数据；根据各个从节点对应的数据分配加权值和所述原始数据的大小，对所述原始数据进行切分，得到至少一个数据块，所述至少一个数据块为所述各个从节点对应的数据块，所述各个从节点包括本地从节点和除所述本地从节点以外的其他从节点，所述数据分配加权值根据所述本地从节点和所述其他从节点的剩余内存信息计算得到，或者，根据所述原始数据的分块数量和所述原始数据的大小，对所述原始数据进行切分，得到至少一个数据块，所述分块数量根据所述本地从节点在执行所述失败任务过程中的内存峰值和所述本地从节点的剩余内存信息计算得到；调用数据处理节点对所述至少一个数据块进行运算处理，所述数据处理节点为所述本地从节点或所述其他从节点；获取所述至少一个数据块对应的运算结果；将各个运算结果进行合并，得到最终运算结果，向客户端发送所述最终运算结果。