[发明专利]一种数据管理系统及其实现数据管理业务的方法

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种数据管理系统及其实现数据管理业务的方法。

背景技术

随着计算机应用技术的飞速发展，需要存储的业务数据(比如，互联网网站的数据)也在以指数级的增长速度快速增长，如何实现对海量的业务数据进行存储则是我们所面临的重要问题之一。

目前，主要通过分布式存储系统来存储海量的业务数据。由于不同的业务数据可能具备不同的数据类型，具有不同数据类型的业务数据随机存储在分布式存储系统中，不方便对分布式存储系统中存储的各个业务数据进行访问。

发明内容

本发明实施例提供了一种数据管理系统及其实现数据管理业务的方法，可方便对分布式存储系统中存储的各个业务数据进行访问。

第一方面，本发明提供了一种数据管理系统，包括：

数据采集模块、存储处理模块和分布式存储系统；其中，

所述数据采集模块，用于采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；

所述存储处理模块，用于在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。

优选地，

所述存储处理模块，包括：解析单元和第一存储处理单元；其中，

所述解析单元，用于针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；

所述第一存储处理单元，用于在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。

优选地，

所述存储处理模块，进一步包括：第二存储处理单元；其中，

所述第二存储处理单元，用于在所述当前数据类型为图片数据时，将所述待处理业务数据所对应的图片名称作为所述待处理业务数据所对应的第二主键值，在所述分布式存储系统中对应于所述图片数据的第二数据存储表下构建一个以所述第二主键值命名的第二列族，并将所述待处理业务数据存储至所述第二列族中。

优选地，

所述存储处理模块，进一步包括：第三存储处理单元；其中，

所述第三存储处理单元，用于在所述当前数据类型为Json数据时，根据预设规则生成对应于所述Json数据的第三主键值，在所述分布式存储系统中对应于所述Json数据的第三数据存储表下构建一个以所述第三主键值命名的第三列族，并将所述待处理业务数据存储至所述第三列族中。

第二方面，本发明实施例提供了一种利用第一方面中任一所述的数据管理系统实现数据管理业务的方法，包括：

利用所述存储处理模块在所述所述分布式存储系统中预先构建至少一张数据存储表，其中，每一张所述数据存储表分别对应一个数据类型；

利用所述数据采集模块采集至少一个待处理业务数据，并将采集的所述至少一个待处理业务数据分别传输至所述存储处理模块；

利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下。

优选地，

所述利用所述存储处理模块针对于接收的每一个待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型，并将所述待处理业务数据存储至所述分布式存储系统中与所述当前数据类型相对应的数据存储表下，包括：

利用所述解析单元针对于接收的每一个所述待处理业务数据，解析所述待处理业务数据以确定所述待处理业务数据的当前数据类型；

利用所述第一存储处理单元在所述当前数据类型为文本数据时，将所述待处理业务数据所对应的文本标题作为所述待处理业务数据的第一主键值，在所述分布式存储系统中对应于与所述文本数据的第一数据存储表下构建一个以所述第一主键值命名的第一列族，并将所述待处理业务数据存储至所述第一列族中。

优选地，