[发明专利]一种大数据访问和管理的中间件定制系统与方法

说明书

本发明公开了一种大数据访问和管理的中间件定制系统与方法，包括JPQL语句转换模块，用于负责对开发人员提交的JPQL语句进行转化，以使得将JPQL语句转化成既适应于关系型数据库又适应于非关系型数据库的字符串形式；总体持久化模块，该模块封装了多个子持久化单元，用于将关系型数据库和非关系型数据库分别进行了封装，屏蔽了关系型数据库和非关系型数据库之间的区别；子持久化单元，用于定义实体，对实体进行管理，并且提供相应的数据库连接，将对实体的操作映射成对应的数据操作，本发明实现了对关系型数据库和非关系型数据库的透明访问，开发人员不需要了解数据库中表的具体的物理结构，不需要在程序中编写连接数据库的代码。

技术领域

本发明涉及一种大数据访问和管理的中间件定制系统与方法。

背景技术

传统模式下，应用程序通常使用JDBC直接连接各个关系型数据库，获取所需要的数据，使用SQL语句直接对数据库中的表进行增删改查操作，如MySQL、Oracle等，但是需要知道关系型数据库的物理结构。JDBC可以屏蔽关系数据库之间的区别，使用统一的方式连接不同的关系型数据库，但是不能连接非关系型数据库，但是网站每天产生的数据量是巨大的，对于关系型数据库来说，在一张包含海量数据的表中查询，效率是非常低的，而且SQL语言是一种非过程化的面向集合的语言，它虽然用起来非常简单，但由于是解释实现，效率不如人意。

大数据访问中间件的定制需求，具有以下特点：首先，一个网站可能有成千上万的用户每天需要存储大量数据，只存储到关系型数据库中，可能导致数据存取速率降低，网站访问速度受影响，这就要求需要将低价值密度、海量的数据存储到非关系型数据库中。其次，开发人员并不想要了解底层数据库具体的物理结构，而是面向对象的访问数据，想要透明的访问底层数据库，就像数据库不存在一样。再次，需要有统一的语言操作关系型数据库和非关系型数据库，如果每种数据库使用一种语言容易混淆。最后，使用JDBC只能连接关系型数据库，关系型数据库对于海量数据的查询和存储效率比较低，所以需要一种中间件实现对关系型数据库和非关系型数据库的统一访问，并有选择的存储海量数据。

发明内容

本发明为了解决上述问题，提出了一种大数据访问和管理的中间件定制系统与方法，本系统克服了传统JDBC只能连接关系型数据库的缺陷，可以把非结构化的、低价值密度的、大量的数据存储在非关系型数据库中，把结构化的、高价值密度、少量的数据存储在关系型数据库，提高数据的查询和存取效率。

为了实现上述目的，本发明采用如下技术方案：

一种大数据访问和管理的中间件定制系统，包括JPQL语句转换模块、总体持久化模块和子持久化单元；其中：

所述JPQL语句转换模块，用于负责对提交的JPQL语句进行转化，以使得将JPQL语句转化成既适应于关系型数据库又适应于非关系型数据库的字符串形式；

所述总体持久化模块，该模块封装了多个子持久化单元，用于将关系型数据库和非关系型数据库分别进行了封装，屏蔽了关系型数据库和非关系型数据库之间的区别；

所述子持久化单元，用于定义实体，对实体进行管理，并且提供相应的数据库连接，将对实体的操作映射成对应的数据操作；定义多个子持久化单元，每个子持久化单元对应一种类型的数据库。

所述子持久化单元内容至少包括：

一个独立的子项目，该项目使用一个xml文件连接具体的数据库，还包括对应数据库中的实体，一个子项目只能连接一个具体的数据库，该项目中包含具体的数据库驱动以及相应的java持久化单元驱动；

对应数据库中定义的实体，每个实体都有对应的实体定义，这里的实体是指数据库管理系统中的不同管理对象，再通过映射机制将实体映射成具体数据库中的数据，每个实体对应数据库中的一个表，关系型和非关系型数据库中实体映射都采用注解的方式；