[发明专利]数据存储处理系统和数据存储处理方法

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据存储处理系统和一种数据存储处理方法。

背景技术

在传统基于平台的云计算数据中心中，数据的存储和写入是对整个平台执行性能最大的约束。通常数据的存储和写入是直接与云端的数据库进行交互，大部分客户端的请求都是由HTTP协议进行传递，大量的针对数据库的操作大部分基于短连接执行，或是使用数据库连接池进行操作，例如像LAMP和J2EE体系中的标准执行方式。由于数据库写入连接最大值的限制和连接池回收利用与关闭的机制，导致其成为了整个平台执行效率与吞吐能力最大的瓶颈。

目前市场上针对云计算的数据存储和写入方式主要采用三种执行架构方法：

（1）客户端请求云计算平台后直接连接指定数据库，并根据请求内容对指定已持久化的数据进行直接连接操作。该方法优点是数据的一致性最高，并且最大限度的保证数据的事物性和原子性，同时在开发效率与成本控制上也具有比较大的优势。缺点是对于硬件的依赖过高，在对于大型云平台操作的时候执行效率不高，存在严重的数据排队问题，并且在数据库层方面存在严重的性能约束。

（2）采用消息队列方式进行对发送给云计算平台的执行请求进行分析和操作。该方法优点是可以解决在面对超大数据执行压力下，对数据库的压力稀释，有效的解决了数据层的数据并发问题。缺点是由于采用了消息队列机制，导致数据的一致性最差，在针对频繁交互的程序系统中给用户的体验较差，并且存在一定的业务不实用型。

（3）存在多台数据库服务器，客户端访问云计算平台后，根据负载均衡原则随机或者根据一定的策略选择一台数据库进行连接和数据库操作，在操作结束后，数据库之间通过自身和程序机制自动或手动同步数据，使存在的多台服务器中数据保持一致。该方法优点是随着服务器的增加，对于数据库的压力会最大限度的减小，同时也可以有效的解决当前平台在数据存储和写入的瓶颈。缺点是对于硬件的需求成本过高，当数据库之间同步数据的时候也会因为距离和节点数的限制使自身的性能得到一定程度的下降，同时在数据同步过程中由于延迟问题，会导致数据一致性不统一。

因此，需要一种新的数据存储方法，能够缓解存储负载压力，并处理数据同步和交互的不一致性。

发明内容

本发明正是基于上述问题，提出了一种数据存储处理系统，能够缓解存储负载压力，并处理数据同步和交互的不一致性。

有鉴于此，本发明提出了一种数据存储处理系统，包括：数据存储业务模块，接收客户端对数据的存储操作的请求；监控负载压力模块，判断当前是否存在存储压力问题，在判断结果为是时，启用平台数据处理模块；所述平台数据处理模块，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在该技术方案中，通过监控数据存储操作的负载压力，可以根据用户连接数、请求连接数、忙闲时间判定和自定义设置等多种其他业务体系中常见的策略模式进行对压力的部署，进而通过对压力进行合理的分配，达到了缓解存储负载压力的效果。

在上述技术方案中，优选地，还包括：任务检查处理模块，所述监控负载压力模块在判断结果为否时启用所述任务检查处理模块，所述任务检查处理模块在当前不存在所述存储任务时，直接将所述数据存储到所述数据库。

在该技术方案中，当存在存储压力问题时，可以直接将所述数据存储到所述数据库，提高了系统的运行速度。

在上述技术方案中，优选地，所述任务检查处理模块在当前存在所述存储任务时，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。

在上述技术方案中，优选地，所述平台数据处理模块将所述数据作为缓存数据，和/或对所述数据序列化以及加密后，再发送至所述远程任务分发服务器。

在该技术方案中，将所述数据作为缓存数据，处理了数据同步和交互的不一致性，同时数据缓存可以被系统自动回收和自动分配。

在上述任一技术方案中，优选地，所述监控负载模块根据当前的用户连接数、请求连接数和/或忙闲时间判定，判断是否存在所述存储压力问题。

根据本发明的又一方面，还提出了一种数据存储处理方法，其特征在于，包括：步骤202，接收客户端对数据的存储操作的请求；步骤204，判断当前是否存在存储压力问题，在判断结果为是时，进入步骤206；所述步骤206，将所述数据发送至远程任务分发服务器，由所述远程任务分发服务器选择队列服务器，并由所述队列服务器将所述数据存储到所述数据库。