[发明专利]分布式数据定位实例的方法、客户端及分布式计算系统

说明书

本发明公开了一种分布式数据定位实例的方法、客户端及分布式计算系统，分布式计算系统包括若干客户端以及至少一服务端，所述方法包括：目标客户端获取待处理数据；将所述待处理数据切分为若干部分；获取每个部分的序列化结果；将所述所有部分的序列化结果组合为所述待处理数据的序列化结果；将所述待处理数据的序列化结果进行哈希计算，从而指定所述待处理数据的处理实例。本发明能够保证流式计算中数据传输至服务端的准确性，同时大大减少了数据序列化消耗的时间，进一步减少了在定位redis实例时消耗的时间，从而提高系统的运行速度。

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种分布式数据定位实例的方法、客户端及分布式计算系统。

背景技术

互联网产业的迅速发展在带来数据规模爆炸式增长的同时，也使大数据呈现出越发鲜明的流式特征，传统的批处理模式难以满足流式大数据处理对于计算实时性的要求，因此，更为高效的分布式计算系统得到了越来越广泛的应用。

在流式计算的业务处理过程中，系统使用redis(高性能的key-value数据库，即键-值数据库)进行数据的计算，并将数据暂存在redis。由于海量的数据进入计算，因此在计算过程中需要同时使用多个redis实例。在计算过程中，客户端根据业务需求产生rediskey，计算redis key对应的redis实例，最后将相应的命令发送到redis key所在的redis实例处理。在这个过程中需要保证，在流式计算过程中产生的相同的redis key需要进入相同的redis实例中，否则会导致结果数据不准确。在计算过程中，可能多次产生相同的rediskey，而且，这将导致需要多次重复定位key所对应的redis实例。

但是现有的技术中，并没有提供可行的方式确定处理相同redis key的redis实例，而且计算过程中定位redis实例时，处理相同的redis key时，系统需要耗费大量资源(如：cpu,时间等)重复序列化，从而导致定位redis实例的效率降低，影响系统的运行速度。

发明内容

本发明要解决的技术问题是为了克服现有技术中分布式计算系统无法提供处理相同redis key的方法，从而导致系统消耗大量资源的缺陷，提供一种优化生成redis key从而能快速准确的定位redis key所在的redis实例的分布式数据定位实例的方法、客户端及分布式计算系统。

本发明是通过下述技术方案来解决上述技术问题：

一种分布式数据定位实例的方法，用于分布式计算系统，所述分布式计算系统包括若干客户端以及至少一服务端，其特点在于，所述方法包括：

目标客户端获取待处理数据；

将所述待处理数据切分为若干部分；

获取每个部分的序列化结果；

将所述每个部分的序列化结果组合为所述待处理数据的序列化结果；

将所述待处理数据的序列化结果进行哈希计算，从而指定所述待处理数据的处理实例。

现有的流式计算中，会产生许多相同redis key，这些redis key之间的差异可能只是若干字符串。如果每个相同的redis key均以相同的处理方式进行处理，系统会做许多重复的工作，不仅无法快速处理相同的redis key，而且会占用系统的大量资源。

本发明将redis key划分为若干个部分，并判断所述部分在缓存中是否存在，如果存在则直接调用缓存中的计算结果，如果不存在则对不存在的部分进行序列化处理并将处理后的结果存储于缓存中，为下一次处理所述部分提供便利。本发明能够有效提高系统运行速度。

较佳地，所述获取每个部分的序列化结果步骤包括：

对于每个所述部分，判断所述部分的数据大小是否大于预设值；

若是，