[发明专利]一种应用数据的管理系统以及处理方法、装置和服务器

说明书

本发明实施例公开了一种应用数据的管理系统以及处理方法、装置和服务器。其中，该系统包括：异步通信组件、发布订阅消息组件、列式数据库和数据消费进程组，异步通信组件缓存不同业务应用异步上报的应用数据；其中，异步通信组件定期将应用数据写入到发布订阅消息组件中，数据消费进程组定期从发布订阅消息组件中并行拉取应用数据，并转存至列式数据库中。本发明实施例提供的技术方案，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种应用数据的管理系统以及处理方法、装置和服务器。

背景技术

目前，在互联网领域内针对不同业务类型已经开发有大量应用程序，每一应用程序在执行任意业务操作时，会调用相应的接口向服务端上报对应的应用数据，由服务器将应用程序上报的各类应用数据存储至对应的数据库中，然后采用守护进程对该数据库中的应用数据进行异常监控；但是，在服务端由于数据上报量过多而导致响应不及时的情况下，会直接影响到用户在应用程序上的业务执行，而且高并发的数据上报，会造成数据库的存储瓶颈。

针对上述问题，现有的数据管理系统通常会增加服务端的机器部署，以采用高并发的服务集群来接收各个应用程序上报的应用数据，但如果应用程序的数据上报量超过上万级别时，会导致服务集群内的机器部署过多，而增加数据管理系统的复杂性，同时会增加数据库的负载压力，进而在高并发的数据上报下，直接影响到数据管理的高效性。

发明内容

本发明实施例提供了一种应用数据的管理系统以及处理方法、装置和服务器，降低应用数据管理的部署复杂性，提高应用数据处理的高效性和平稳性。

第一方面，本发明实施例提供了一种应用数据的管理系统，该系统包括：异步通信组件、发布订阅消息组件、列式数据库和数据消费进程组，所述异步通信组件缓存不同业务应用异步上报的应用数据；其中，

所述异步通信组件定期将所述应用数据写入到所述发布订阅消息组件中，所述数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。

第二方面，本发明实施例提供了一种应用数据的处理方法，应用于上述第一方面所述的应用数据的管理系统中，该方法包括：

通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；

通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。

第三方面，本发明实施例提供了一种应用数据的处理装置，配置于上述第一方面所述的应用数据的管理系统中，该装置包括：

应用数据写入模块，用于通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；

应用数据转存模块，用于通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。

第四方面，本发明实施例提供了一种服务器，该服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的应用数据的处理方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的应用数据的处理方法。