[发明专利]一种基于消息队列的分布式数据实时去重方法

说明书

本发明公开一种基于消息队列的分布式数据实时去重方法，根据消息网络接口，配置若干台数据从服务器，并加入消息网络；为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息；根据原始数据信息，去重数据信息及去重服务信息确定从服务器；原始数据产生者查询重服务信息，并将原始数据发送至相应的原始数据队列；数据从去重服务器查询去重服务信息，从相应的原始数据队列中消费数据，并输入至数据去重引擎，之后将去重后的数据输入到相应的去重数据队列；去重数据消费者查询去重服务信息，并从相应的去重数据队列中消费数据；主服务器根据从服务器信息更新从服务器信息。

技术领域

本发明涉及分布式计算技术领域，尤其涉及一种分布式环境下高效、实时的数据去重方法。

背景技术

飞速发展的互联网对数据处理的效率和扩展性提供了更高的要求。如今，越来越多的解决方案使用分布式系统来应对这一挑战。与集中式系统相对，分布式系统将应用分解成许多小的部分，分配给多台计算机进行处理，具有扩展性好、整体成本低、处理效率高等特征。

分布式系统是建立在网络上的软件系统，其展现给用户的是一个统一的整体，但内部独立的分布式计算模块之间却涉及复杂的数据交互。在某些应用场景下，例如有多个数据生产者同时产生相同类型的数据，有多个消费者随机的实时消费这些数据。为了确保一致性，对数据生产者产生的数据进行实时去重就显得尤为重要。

发明内容

本发明公开一种基于消息队列的分布式数据实时去重方法，该方法在消息网络的基础上，加入一组数据去重信息服务器，一方面消费原始数据产生着生成的数据，另一方面对原始数据去重后提供给数据消费者使用。

为解决上述问题，本发明提供了一种基于消息队列的分布式数据实时去重方法，该方法包括步骤：

S1.配置一台去重信息服务器；

S2.配置一台主服务器；

S3.根据消息网络接口，配置若干台数据从服务器，并加入消息网络；

S4.为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息；

S5.根据原始数据信息，去重数据信息及去重服务信息确定从服务器；

S6.原始数据产生者查询重服务信息，并将原始数据发送至相应的原始数据队列；

S7.数据从去重服务器查询去重服务信息，从相应的原始数据队列中消费数据，并输入至数据去重引擎，之后将去重后的数据输入到相应的去重数据队列；

S8.去重数据消费者查询去重服务信息，并从相应的去重数据队列中消费数据；

S9.主服务器根据从服务器信息更新从服务器信息。

具体实施方式

本发明的一种基于消息队列的分布式数据实时去重方法，包括如下步骤：

S1.配置一台去重信息服务器；

S2.配置一台主服务器；

S3.根据消息网络接口，配置若干台数据从服务器，并加入消息网络；

S4.为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息；

S5.根据原始数据信息，去重数据信息及去重服务信息确定从服务器；

S6.原始数据产生者查询重服务信息，并将原始数据发送至相应的原始数据队列；

S7.数据从去重信息服务器查询去重服务信息，从相应的原始数据队列中消费数据，并输入至数据去重引擎，之后将去重后的数据输入到相应的去重数据队列；