[发明专利]一种基于消息采集和多维度分布的系统

说明书

本发明公开一种基于消息采集和多维度分布的系统，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，本方案提供可承载高并发、高性能可集群部署的消息采集服务，可接入第三方消息中间件，增加服务性能和数据的安全性，分发服务可存储元数据，同时按照业务需要填充业务数据，自定义分发维度将消息分发给其他业务服务，对于异常消息做预警。

技术领域

本发明属于互联网领域，尤其涉及到一种基于消息采集和多维度分布的系统。

背景技术

随着物联网的发展，设备和后台服务器通信要求越来越高，同时设备会不定期或时刻往服务器发送数据，有些数据可能非常重要，所以对通信的安全性、稳定性及数据的准确性要求很高，同时服务器接收数据所需承载的并发量也极大，并且后台服务收到消息后，需要先对数据进行校验、幂等、数据填充等，其中如果出现问题需要发出预警通知相关人员，没有问题后会按照多种维度进行数据的分发，维度可自定义，数据分发后还需要检查数据在其他业务服务中是否正确接收，基于现有的消息采集和消息分发的存在的问题，急需一种解决上述问题的一种基于消息采集和多维度分布的系统。

发明内容

本发明提供一种基于消息采集和多维度分布的系统,解决的上述问题。

为解决上述问题，本发明提供的技术方案如下：为解决上述问题，本发明提供的技术方案如下：一种基于消息采集和多维度分布的系统，设有消息采集服务集群、消息分发服务集群、业务服务集群和数据校验服务集群；消息采集服务集群接收设备上传的数据并对数据进行解密校验，解密校验之后的数据发送给消息分发服务集群；消息分发服务集群将获取解密校验之后的数据并进行填充处理，将填充之后的数据通过消息分发器发送给业务服务集群，业务服务集群通过消息分发服务集群获得拉取业务消息，消息分发服务集群通过数据校验服务集群获得相应的补偿消息。

优选的，所述消息采集服务集群设有数据接收单元、解密校验单元、预警单元和消息中间件；数据接收单元接收设备上的数据；解密校验单元对数据接收单元中的数据进行解密校验：若校验失败，则将数据直接打回，并将校验失败消息发送给预警单元，预警单元则发出预警通知消息，并进行问题排查；若校验成功，则将数据按照主题先发送给消息中间件，同时还会按照设备编号的维度再次发送一条库存变更消息给消息中间件的指定分区，消息中间件将消息上传至服务器中，以保证设备维度上的消息顺序，消息采集服务可抗高并发，支持集群部署。

进一步，解密校验：消息采集服务默认一个公钥（32位字符串组成），公钥会给到安卓开发员嵌入到机器程序中。机器上传数据会将公钥一起上传，同时上传的数据是经过公钥加密，解密校验后台先校验公钥是否相等，如果相等，解密校验后台并利用公钥解密，将解密的数据通过消息中间件接收。

优选的，主题包括不同业务维度的主题，是根据公司编号维度、机器编号维度、机器类型编号维度和时间日期维度的任意组合形成的一个主题。

优选的，库存变更顺序是指同一台设备要求上传的交易消息是有序的，这样可以保证后台服务得到的库存变更记录有序。

例如：通过在消息采集服务集群中的消息中间件收到数据后，数据按照当前机器的编号作为发送到服务器中kafka队列的key，key经过hash后会得到一个唯一值，这样保证了同一个设备的消息会发送到kafka的同一个分区。