[发明专利]大数据加载系统和方法

权利要求书

1.一种大数据加载系统，其包括：

客户端，用于接收用户数据；

数据存储系统，用于存储所述用户数据；

元数据库，用于存储所述用户数据的管理信息，其中所述管理信息包括数据结构、数据属性和数据存储位置；

其特征在于

还包括加载服务器，其与客户端建立连接以从客户端接收用户数据，并根据数据存储系统的状态信息和元数据库的管理信息，将所述用户数据加载至所述数据存储系统。

2.如权利要求1所述的大数据加载系统，其特征在于，还包括负载均衡装置，用于基于所述加载服务器的负载情况均衡所述加载服务器与所述客户端的连接。

3.如权利要求1或2所述的大数据加载系统，其特征在于，所述数据存储系统包括用于存储结构化数据的结构化数据存储子系统、用于存储半结构化数据的半结构化数据存储子系统以及用于存储非结构化数据的非结构化数据存储子系统。

4.如权利要求3所述的大数据加载系统，其特征在于，所述加载服务器将所述用户数据加载至所述数据存储系统具体为：加载服务器依据所述用户数据的属性进行数据划分并将其加载至数据存储系统相应的存储子系统。

5.如权利要求4所述的大数据加载系统，其特征在于，所述数据划分是将所述加载服务器接收到的数据划分为适合于结构化数据存储和非结构化数据存储的多个数据列，所述多个数据列按照分区策略存储于缓存组中，缓存组中的每个缓存存储结构化数据或半结构化数据或非结构化数据的独立分区数据，并且所述数据分发是所述缓存组的数据并行地写入到所述数据存储系统的各个存储子系统中，并进一步地写入到各个存储子系统的相应分区中。

6.如权利要求1或2所述的大数据加载系统，其特征在于，还包括状态信息监测模块，用于监测数据存储系统和元数据库的状态。

7.如权利要求6所述的大数据加载系统，其特征在于，还包括状态信息同步模块，用于从状态信息监测模块周期性地读取数据存储系统和元数据库的状态信息，并发送给加载服务器。

8.如权利要求7所述的大数据加载系统，其特征在于，所述状态信息同步模块还记录加载服务器的运行日志和数据存储过程日志。

9.一种大数据加载方法，其特征在于包括步骤：

客户端接收用户数据；

加载服务器从客户端接收用户数据，并根据数据存储系统的状态信息和元数据库的管理信息，将所述用户数据加载至所述数据存储系统；

其中所述元数据库存储所述用户数据的管理信息，所述管理信息包括数据结构、数据属性和数据存储位置。

10.如权利要求9所述的大数据加载方法，其特征在于，所述加载服务器与所述客户端的连接由负载均衡装置基于所述加载服务器的负载情况进行均衡。

11.如权利要求10所述的大数据加载方法，其特征在于，所述均衡具体为：首先，启动数据加载服务后在负载均衡器上注册；然后，客户端向负载均衡器发出数据加载请求；最后，负载均衡器动态分配加载服务器给客户端，两者之间建立连接。

12.如权利要求9所述的大数据加载方法，其特征在于，所述加载服务器周期性地获取数据存储系统和元数据库的状态信息，并根据数据存储系统的状态和数据属性将数据拆分并存储至各个存储系统子系统的不同分区中。

13.如权利要求9所述的大数据加载方法，其特征在于，所述加载服务器以同步或异步方式将所述用户数据加载至所述数据存储系统。

14.如权利要求9至13中任一所述的大数据加载方法，其特征在于，所述加载服务器将所述用户数据加载至所述数据存储系统具体为：加载服务器依据所述用户数据的属性进行数据划分并将其加载至数据存储系统相应的存储子系统。

15.如权利要求14所述的大数据加载方法，其特征在于，所述数据划分是将所述加载服务器接收到的数据划分为适合于结构化数据存储、半结构化数据存储和非结构化数据存储的存储于多个缓存组中的多个数据列组，并且所述数据分发是所述缓存数据组中的数据并行地写入到所述数据存储系统的各个存储子系统相应的分区中。