[发明专利]大数据量加载的拆分与合并方法及系统

说明书

技术领域

本发明涉及计算机技术领域，更具体的说，涉及大数据量加载的拆分与合并方法及系统。

背景技术

数据分析应用系统是指对生产交易等各类业务数据进行加工运算、汇总、筛选等操作的软件平台。

通常情况下，数据分析应用系统会接收到用户发送的查询等指令，并根据该指令在数据库服务器中编辑SQL查询语句或存储过程以调取需要用到的数据。

在对现有技术的研究和实践过程中，本发明的发明人发现现有技术存在以下问题：

当数据库服务器中的并发数据量较大时，会造成数据库服务器压力过大，从而导致数据分析应用系统的性能大幅下降，处理效率降低。所以为了保证数据分析应用系统的性能稳定，只能通过增加数据库硬件的方式来提高数据分析应用系统的性能，例如增加更多的cpu或增加更大的内存等方式，从而导致成本负担加重。

因此，如何在保证数据分析应用系统的性能稳定的同时，还能够降低数据库硬件设备的投入成本，成为目前最需要解决的问题。

发明内容

有鉴于此，本发明的设计目的在于，提供一种大数据量加载的拆分与合并方法及系统，以保证数据分析应用系统的性能稳定的同时，还能够降低数据库硬件设备的投入成本。

本发明实施例是这样实现的：

一种大数据量加载的拆分与合并方法，包括：

接收用户输入的分析请求，所述分析请求包括分析对象、分析要素和根据所述分析对象的属性生成的第一分析条件；

当所述分析对象具有其他属性时，则根据所述其他属性生成第二分析条件；

当所述第一分析条件或第二分析条件包括多个从属属性时，则根据所述多个从属属性将所述第一分析条件或第二分析条件拆分成多个对应的子条件；

根据所述多个子条件分别对应所述分析对象和分析要素生成多个分析子请求；

利用所述多个分析子请求在数据库服务器中查询多个对应的数据；

获取所述多个对应的数据；

将所述多个对应的数据进行汇总处理得到结果数据。

优选地，在获取所述多个对应的数据的步骤之后，还包括：

将所述多个对应的数据存储到存储设备中。

优选地，在将所述多个对应的数据存储到存储设备中的步骤之后，还包括：

获取所述多个对应的数据的存储路径。

优选地，在将所述多个对应的数据存储到存储设备中的步骤中，具体为：

将所述多个对应的数据按照顺序存储到存储设备中。

优选地，在将所述多个对应的数据存储到存储设备中的步骤之后，还包括：

释放存储过程中使用的内存。

一种大数据量加载的拆分与合并系统，包括：

接收模块，用于接收用户输入的分析请求，所述分析请求包括分析对象、分析要素和根据所述分析对象的属性生成的第一分析条件；

第一生成模块，用于当所述分析对象具有其他属性时，则根据所述其他属性生成第二分析条件；

拆分模块，用于当所述第一分析条件或第二分析条件包括多个从属属性时，则根据所述多个从属属性将所述第一分析条件或第二分析条件拆分成多个对应的子条件；

第二生成模块，用于根据所述多个子条件分别对应所述分析对象和分析要素生成多个分析子请求；

查询模块，用于利用所述多个分析子请求在数据库服务器中查询多个对应的数据；

获取模块，用于获取所述多个对应的数据；

汇总模块，用于将所述多个对应的数据进行汇总处理得到结果数据。

与现有技术相比，本实施例提供的技术方案具有以下优点和特点：

在本发明提供的方案中，在查询数据库服务器之前，已经将分析请求拆分成若干个分析子请求，由于每个分析子请求都属于分析请求的一部分，所以每个分析子请求获取的数据量相对于分析请求要小很多，所以在数据库服务器处理简单的分析子请求时，不会存在太大的处理压力；而且，数据库服务器不需要处理整个分析请求，也不需要处理分析请求的拆分过程，相对于现有技术而言，本发明提供的方案可以避免造成数据库服务器的压力过大，从而提高了系统的性能，并且降低了数据库服务器的硬件投入成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。