[发明专利]一种基于海量数据存取需求的分布式数据库代理系统

说明书

技术领域

本发明涉及海量数据存取处理技术领域，特别是涉及一种基于海量数据存取需求的分布式数据库代理系统。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展以及应用范围的不断扩充，数据库应用已经普遍建立于计算机网络之上。特别是伴随着云计算对数据存取需求应用的迅速发展，这种集中式数据库系统应用就表现出了它的不足，主要体现在：

1、数据集中处理带来性能瓶颈：应用系统集中在一台服务器上运行，一旦发生机器故障，则整个系统受到影响，可靠性不高，集中式数据处理系统的规模和配置都不够灵活，系统的可扩展性差。

2、无法有效支撑海量数据处理：越来越多互联网企业的业务平台在使用着一些关系型数据库和非关系型数据库，但都没有一个很好的数据库系统架构来解决海量数据存储以及高访问量的问题。通常受限于软件、硬件、网络设备I/O访问瓶颈等，导致无法支撑更高的访问量以及更大的数据存储容量。

3、基于前端应用的改造方案带来运维成本的增高：通常，企业研发人员会在前端应用做相应的技术改造，而这些改造方案是在特定的语言环境和软件框架下形成的，很难有一个通用型、跨语言的开发框架进行复用的问题，同时也给运维人员(比如DBA)带来维护上的困难。

综上所述，传统的基于以数据库为中心的应用设计思路不能很好的解决和处理海量数据存取和高并发访问所带来的瓶颈问题。

发明内容

本发明提供了一种基于海量数据存取需求的分布式数据库代理系统，该系统能够解决海量数据存取、高并发访问所带来的瓶颈问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种基于海量数据存取需求的分布式数据库代理系统，该系统包括：前端应用、后端数据库和一个或多个数据库代理DBP装置；其中：

前端应用，用于向DBP装置发送访问后端数据库的请求消息；

DBP装置，用于接收前端应用发送的请求消息，根据所述请求消息对后端数据库进行相应的操作，并将后端数据库返回的操作结果发送给前端应用；

后端数据库，用于存储前端应用所需的数据，响应DBP装置的操作，将操作结果返回给DBP装置。

在上述系统中，所述多个DBP装置包括：只用于执行读取数据库操作的DBP装置、只用于执行写入数据库操作的DBP装置以及同时支持读写数据库操作的DBP装置。

在上述系统中，所述DBP装置包括：DBP会话管理模块，DBP通信管理模块，DBP线程管理模块，DBP数据库访问模块，其中，

所述DBP通信管理模块，用于接收前端应用发送的访问后端数据库的请求消息，根据所述请求消息调用DBP会话管理模块创建访问后端数据库的会话；用于调用DBP线程管理模块为所述访问后端数据库的会话建立相对应的线程；用于接收DBP线程管理模块发送的返回消息包，将所述返回消息包发送给前端应用；

所述DBP会话管理模块，用于响应DBP通信管理模块调用，为所述请求消息建立访问后端数据库的会话；

所述DBP线程管理模块，用于响应DBP通信管理模块的调用，为DBP会话管理模块建立的访问后端数据库的会话建立对应的线程；用于调用DBP数据库访问模块对相应的后端数据库进行操作；用于将对后端数据库进行操作后得到的相应数据放入返回消息包中，将所述返回消息包发送给DBP通信管理模块；

所述DBP数据库访问模块，用于响应DBP线程管理模块的调用，建立与后端数据库之间的连接，对后端数据库进行操作后，将操作后得到的相应数据返回给DBP线程管理模块。

在上述系统中，所述DBP通信管理模块中设置有处理消息组件，所述处理消息组件用于根据前端应用发送的请求消息的消息ID，调用相应的消息处理函数对所述请求消息进行处理。

在上述系统中，所述DBP装置进一步包括：DBP SQL解析模块；

所述DBP线程管理根据不同的请求消息，调用DBP SQL解析模块对请求消息中的SQL语句进行解析，再调用DBP数据库访问模块，对后端数据库进行相应的操作；

所述DBP SQL解析模块，用于响应DBP线程管理模块调用，对请求消息中的SQL语句进行解析处理。

在上述系统中，所述DBP数据库访问模块使用后端数据库提供的接口对后端数据库进行操作。