[发明专利]分布式数据接收系统及数据接收方法

说明书

本发明公开了一种分布式数据接收系统及数据接收方法，其中系统包括：数据传送接口和至少一个接收端，接收端包括反向代理服务器、接口服务器和数据库服务器，反向代理服务器多个接口服务器连接，接口服务器与数据库服务器之间设置有消息队列集群；数据传输接口用于向反向代理服务器发送客户端数据；反向代理服务器被配置为代理至少一个接口服务器，用于按照预设规则将接收的客户端数据分发给多个接口服务器，以及将接口服务器返回的数据转发给客户端；接口服务器用于验证客户端数据，并将验证通过的客户端数据加入消息队列集群；数据库服务器用于存储或处理消息队列集群中的客户端数据。实现减轻接收端数据接收的压力，提高数据接收效率。

技术领域

本发明涉及数据传输技术领域，更具体地，涉及一种分布式数据接收系统及数据接收方法。

背景技术

目前，数据接收程序一般采用HTTP方式收发数据，当数据量规模比较小的时候，服务部署方式相对简单，一台数据接收服务器和一台数据库服务器就可以解决接收部分问题，当数据量有所增加的时候，也可以通过扩展硬件的方式来提高数据接收性能，但是，如果数据量成倍怎样，每年都增长的情况下，这样的扩展方式难以维持数据的持续增长、爆发式增长。

因此需要提出一种能够减轻接收端数据接收压力并提高数据接收效率的收据接收系统和方法。

发明内容

本发明的目的是提出一种分布式数据接收系统及数据接收方法，实现够减轻接收端数据接收压力并提高数据接收效率。

为实现上述目的，本发明提出了一种分布式数据接收系统，包括：数据传送接口和至少一个接收端，所述接收端包括反向代理服务器、接口服务器和数据库服务器，所述反向代理服务器多个接口服务器连接，所述接口服务器与所述数据库服务器之间设置有消息队列集群；

所述数据传输接口用于向所述反向代理服务器发送客户端数据；

所述反向代理服务器被配置为代理至少一个所述接口服务器，用于按照预设规则将接收的所述客户端数据分发给多个所述接口服务器，以及将所述接口服务器返回的数据转发给客户端；

所述接口服务器用于验证所述客户端数据，并将验证通过的客户端数据加入所述消息队列集群；

所述数据库服务器用于存储或处理所述消息队列集群中的客户端数据。

可选地，所述反向代理服务器、所接口服务器、所述消息队列集群均支持横向扩展。

可选地，所述反向代理服务器为Nginx服务器。

可选地，所述接口服务器为Tomcat服务器。

可选地，所述消息队列集群包括多个消息中间件，所述消息中间件为ActiveMQ、RabbitMQ、Kafka、RocketMQ的其中之一。

可选地，所述数据传送接口包括多个发送接口，每个所述发送接口与一个所述接收端通信连接。

可选地，所述发送接口通过HTTP协议向所述接收端发送客户端数据。

可选地，所述发送接口通过POST方式向所述接收端发送HTTP连接请求。

可选地，所述发送接口与所述接收端之间通过VPN的方式点对点传输数据。

本发明还一种数据接收方法，基于上述的分布式数据接收系统，所述方法包括：

所述数据传送接口向所述接收端发送客户端数据；

所述接收端中的所述反向代理服务器按照预设规则将所述客户端数据分发给多个所述接口服务器；

所述接口服务器验证所述客户端数据，并将验证通过的客户端数据加入所述消息队列集群；

所述数据库服务器对所述客户端数据进行处理或存储。