[发明专利]一种基于大数据平台的影子计算方法

摘要

本发明公开了一种基于大数据平台的影子计算方法，包括：接收客户端的处理任务；计算处理任务的数据集大小与处理任务的数据集所需的执行器内存大小之间的比例；若比例大于影子计算启动阈值，根据比例和处理任务生成多个影子任务和多个影子数据集；其中，影子数据集具有同等比例的执行器内存；向从节点发送多个影子任务和多个影子数据集，以使从节点根据每个影子任务应用一种缓存替换算法对影子数据集进行计算；接收从节点的每个影子任务回复的缓存命中率，根据所有影子任务的缓存命中率的高低情况选择一个最优的影子任务的缓存替换算法作为处理任务的数据集的缓存替换算法。本发明自适应选取更合适的缓存替换算法，具有很高的灵活性和优化效果。