[发明专利]一种海量数据集成系统及方法

说明书

技术领域

本发明涉及数据库技术领域，具体涉及一种海量数据集成系统及方法。

背景技术

随着信息技术的不断发展，信息量与日俱增，信息形式变得多种多样，单一数据库的数据存储能力渐渐显得力不从心。特别对于金融行业来说，当客户数量和账务数据达到上亿规模后，更要求其数据集成系统具有良好的数据检索和处理性能、稳定性、灵活性和易于扩展性。

在现有技术中，对海量数据的处理可以采用多数据库集成系统，多数据库系统将多个异构的数据库系统集成起来，每一个数据库系统在逻辑上自成体系，可以存储远远超过单数据库系统的数据量。但是，现有技术中，多数据库系统中部分服务器的处理能力明显不足需扩容，而部分服务器的处理能力又被闲置，存在应用服务器资源使用不均衡的问题。同时，当数据大量增加时，无法及时对多数据库系统进行扩展，无法达到系统扩展性、灵活性和稳定性的要求。

发明内容

有鉴于此，本发明的主要目的是提供一种海量数据集成系统及方法，以解决现有技术中系统资源使用不均衡、不易于扩展的问题。

为解决上述问题，本发明提供的技术方案如下：

一种海量数据集成系统，所述系统包括：

若干个数据存储装置、数据转换装置、应用服务资源池、注册装置以及监控装置；

所述数据存储装置，用于对数据进行存储；

所述数据转换装置，用于将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，或者，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储；

所述应用服务资源池中包括若干个应用服务器，所述应用服务器加载应用系统，并根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

注册装置，用于记录所述数据存储单元、所述应用服务器的地址，以及所述数据存储单元与所述应用服务器的对应关系；

监控装置，用于对所述应用服务资源池内的所述应用服务器进行监控，当所述应用服务器的性能指标大于第一阈值时，控制所述数据转换装置对数据进行拆分，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系；当所述应用服务器的性能指标小于第二阈值时，控制所述数据转换装置对数据进行合并，并更改所述注册装置中记录的所述数据存储单元与所述应用服务器的对应关系。

相应的，所述系统还包括：

服务分解装置，用于对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器，以使所述对应服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理。

相应的，所述系统还包括：

服务整合装置，用于对不同所述应用服务器的处理结果进行整合，并将整合结果反馈给用户。

相应的，所述系统还包括：

备份数据存储装置，用于对所述数据存储装置内存储的数据进行备份。

相应的，所述数据转换装置包括：

数据拆分单元，用于根据预定键值，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储；

数据合并单元，用于根据预定键值，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储。

一种海量数据集成方法，所述方法包括：

数据存储装置对数据进行存储；

应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理；

对所述应用服务器进行监控；

当所述应用服务器的性能指标大于第一阈值时，将在一个所述数据存储装置内存储的数据拆分为在多个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系；

当所述应用服务器的性能指标小于第二阈值时，将在多个所述数据存储装置内存储的数据合并为在一个所述数据存储装置内进行存储，并更改所述数据存储单元与所述应用服务器的对应关系。

相应的，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之前，所述方法还包括：

对业务请求分解为多个业务子请求，确定所述业务子请求所需要的应用系统类型，将所述业务子请求发送至对应的应用服务器。

相应的，在所述应用服务器根据应用系统类型对所述应用服务器对应连接的所述数据存储装置内的数据进行处理之后，所述方法还包括：