[发明专利]分布式缓存自动管理系统和分布式缓存自动管理方法

说明书

技术领域

本发明涉及分布式缓存自动管理，具体地，涉及一种用于数据并行的并行计算的分布式缓存自动管理方案。

背景技术

随着互联网的飞速发展，互联网数据也取得了爆炸式增长。对这些数据的分析、处理和挖掘，对于互联网服务商和相关领域的传统行业都有着巨大的意义。然而，由于这些数据规模巨大，如何有效地处理这些数据成为一个巨大的挑战。

为了处理巨大的网页数据，已开发了被命名为“MAP-REDUCE”的并行计算平台。MAP-REDUCE平台可以高效地处理数据并行的并行计算业务。在MAP-REDUCE系统得到广泛应用，并取得巨大成功之后，一个参考了MAP-REDUCE设计的开源项目HADOOP计算平台发布，也迅速在业界取得了巨大成功，被用于很多大型互联网企业的很多关键业务。然而，HADOOP计算平台在处理迭代式任务时不够高效。这类迭代式业务通常由多个MAP-REDUCE任务串联实现，后继MAP-REDUCE任务依赖前一MAP-REDUCE任务的运算结果，这些中间结果通过分布式文件系统进行传递。这种串联方式需要重复读写分布式文件系统，从而导致性能的巨大损失。

为了解决这个问题，开发了一种新的计算平台——“SPARK”。SPARK平台提出了被称作“弹性分布式数据集”的概念。图1是用于说明分布式数据集的示意图。如图1所示，一个完整的数据集被切分成多块，然后存储在缓存服务器集群上。客户端通过分布式数据集的处理器(handler)来访问对应的数据。SPARK平台利用分布式数据集来对大规模数据进行操作，并通过缓存中间结果，来避免重复读写分布式文件系统，从而大幅度提高性能。实验数据表明，SPARK平台处理大规模数据的性能可达HADOOP的20倍。

在SPARK平台中，分布式数据集即分布式缓存。在SPARK计算平台的客户端中，有一个数据集(Dataset)对象和一个分布式数据集对应。程序员通过操作Dataset对象来操作分布式数据集。程序员需要自己管理分布式数据集，比如，对数据进行缓存或丢弃缓存。这也就意味着Dataset对象和它对应的分布式数据集的生存期并不一致。这一方面给程序员带来了额外负担，一方面也容易造成潜在的程序缺陷。

此外，这种相对复杂的缓存管理方式，给缓存管理协议也带来了一定的复杂性。

发明内容

本发明提出了一种用于数据并行的并行计算的分布式缓存自动管理方案，其中，将客户端的数据集对象的生存期和对应的分布式数据集的生存期绑定起来，即，当在客户端中创建或销毁数据集对象时，在缓存服务器集群中相应地创建或销毁对应的分布式数据集。减轻了程序员的负担，降低了出现错误的可能性。而且，简化了缓存管理协议。

根据本发明的第一方案，提出了一种分布式缓存自动管理系统，包括：客户端，用于在本地创建或销毁数据集对象，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建或销毁请求；主控端，用于根据来自客户端的分布式数据集创建或销毁请求，对缓存在缓存服务器集群上的分布式数据集的数据分片进行管理；以及缓存服务器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。所述客户端可以包括：客户端开发库，用作提供给应用程序员的开发库；以及数据集接口，用作访问所述客户端开发库的接口。所述客户端开发库可以包括：数据集模块，用于创建、销毁和访问数据集对象；数据集监控器，用于监控数据集对象的创建和销毁，并触发相应的对于存储在缓存服务器集群上的分布式数据集的创建和销毁请求。

所述主控端可以包括：缓存跟踪器，用于记录分布式数据集中的数据分片在缓存服务器集群中的具体存放位置，即缓存服务器的标识信息；以及调度器，用于在创建分布式数据集时，选择相应的缓存服务器集群来存放数据分片，其中，根据数据集大小和当前缓存服务器的使用情况来对数据集进行分片。

所述缓存服务器可以包括：缓存器，用于存放数据分片；以及处理器，用于根据来自主控端的请求，保存数据分片到缓存器中，或从缓存器中丢弃数据分片。