[发明专利]一种大数据集成系统

说明书

本发明公开一种大数据集成系统，包括数据存储模块，用于对数据进行存储；数据转换模块，用于将数据分割并在多个数据存储模块内进行存储；应用资源服务器模块，用于加载应用系统，并根据应用系统类型处理服务器对应连接的数据存储模块内的数据；注册模块，用于记录数据存储模块、应用资源服务器模块的地址，以及数据存储模块与应用资源服务器模块的对应关系；以及加密模块，用于对各个数据存储模块单独进行加密；该大数据集成系统数据存储稳定性好。

技术领域

本发明涉及一种大数据集成系统。

背景技术

在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。现在计算机存储和处理的对象十分广泛。

随着信息技术的不断发展，信息量与日俱增，信息形式变得多种多样，单一数据库的数据存储能力渐渐显得力不从心。特别对于信息技术行业来说，当客户数量和账务数据达到上亿规模后，更要求其数据集成系统具有良好的稳定性，一旦数据丢失，则容易对企业造成毁灭性的打击。

发明内容

本发明要解决的技术问题是提供一种数据存储稳定性好的大数据集成系统。

为解决上述问题，本发明采用如下技术方案：

一种大数据集成系统，数据存储模块，用于对数据进行存储；

数据转换模块，用于将数据分割并在多个数据存储模块内进行存储；

应用资源服务器模块，用于加载应用系统，并根据应用系统类型处理服务器对应连接的数据存储模块内的数据；

注册模块，用于记录数据存储模块、应用资源服务器模块的地址，以及数据存储模块与应用资源服务器模块的对应关系；以及

加密模块，用于对各个数据存储模块单独进行加密。

作为优选，所述加密模块的加密方法包括以下步骤：

A、随机产生一个加密密钥，并将加密密钥按照DES算法生成一组子密钥；

B、将数据存储模块随机打包生成多个明文数据块；

C、每个明文数据块随机选取对一个子密钥对其进行加密运算，从而获得多个密文数据块；

D、将多个密文数据块共同构成输出的密文数据。

该加密方式对数据存储模块内的存储数据的数据块打包和密钥都是随机确定的，具有加密强度高的特点，计算的系统开销小、可扩展优化等优点。

作为优选，所述数据存储模块设置有8个，所述数据存储模块分成两组，每组4个。

作为优选，所述数据转换模块的数据分割储存方法包括以下步骤：

1)将数据分割成8个部分，将这8个部分的数据和相对应的奇偶校验信息分别存储到写入第一组数据存储模块的4个数据存储模块内，写入的同时还会在这4块数据存储模块上写入校验信息，当读取写入的数据的时候会分别从4块硬盘上读取数据内容，再通过检验信息进行校验；

采用了RAID5校验位算法原理，当其中有1个数据存储模块出现损坏的时候,就从另外3个数据存储模块上存储的数据可以计算出第损坏的数据存储模块的数据内容。

2)将第二组的4个数据存储模块的组成的逻辑硬盘，然后发出的I/O数据请求被转化为4项操作，其中的每一项操作都对应于一个数据存储模块；

原先顺序的数据请求被平均分散到的4个数据存储模块中同时执行，4个数据存储模块的并行操作使同一时间内数据存储模块的读写速度得到极大的提升。