[发明专利]一种数据处理的方法和系统

说明书

技术领域

本发明涉及计算机技术应用领域，特别是涉及云计算云存储环境下，进行数据处理的方法和系统。

背景技术

随着计算机、网络等技术的进一步发展，云计算，特别是云存储的成功应用也越来越普遍。而另一方面，相当多的单位或部门的数据档案还停留在信息化阶段，业务系统产生的大量电子档案得不到有效的管理，割据分布在各业务部门，档案利用还处于原始阶段，档案利用率不高，没有发挥档案应有的无形资产价值。大量的电子档案得不到及时的收集和管理，而是存在于各种业务系统，形成信息孤岛，对于电子档案的可靠性、先进性、安全性、可用性保障以及长期保存，无法提供科学有效的管理手段。同时，没有一整套电子档案利用体系，无法发挥档案资产在企业生产经营中的价值。无法形成有价值的电子应用平台和典型应用模式。

发明内容

本发明要解决的技术问题是提供一种处理数据的方法及系统，以将分散的电子文档数据的进行数据汇聚。

为了解决上述技术问题，本发明提供了一种数据处理的方法，包括：

获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

将预处理后的数据发送给云存储系统。

进一步地，上述方法还具有下面特点：所述获取各数据分中心的历史数据包括：

监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

进一步地，上述方法还具有下面特点：所述对获取到的数据进行预处理包括：

对所述数据进行统一处理和/或清理处理；

将处理后的数据打包生成数据文件。

进一步地，上述方法还具有下面特点：所述将预处理后的数据发送给云存储系统之后，还包括：

删除所述数据文件。

为了解决上述问题，本发明还提供了一种数据处理的系统，包括：

预处理模块，用于获取各数据分中心的历史数据和/或实时数据，对获取到的数据进行预处理；

接口模块，用于将预处理后的数据发送给云存储系统。

进一步地，上述系统还具有下面特点：所述预处理模块包括：

第一单元，用于获取各数据分中心的历史数据和/或实时数据；

第二单元，用于对所述数据进行统一处理和/或清理处理；

第三单元，用于将处理后的数据打包生成数据文件。

进一步地，上述系统还具有下面特点：

所述第一单元，具体用于监测所述数据分中心的运行状态，在所述数据分中心空闲时分批获取该数据分中心的历史数据。

进一步地，上述系统还具有下面特点：

所述接口模块，还用于删除所述数据文件。

为了解决上述问题，本发明还提供了一种处理数据的方法，包括：

云存储系统接收数据分中心的数据；

通过多个采集模块并行采集所述数据，将所述数据写入云存储模块。

进一步地，上述方法还具有下面特点：所述将所述数据写入云存储模块包括：

所述采集模块调用结构化查询语言接口、应用程序接口或接口导入命令将所述数据写入云存储模块。

为了解决上述问题，本发明还提供了一种云存储系统，包括：接口模块、多个采集模块和云存储模块，其中，

所述接口模块，用于接收各数据分中心的数据；

多个所述采集模块，用于并行采集所述接口模块接收的数据，将所述数据写入所述云存储模块。

进一步地，上述系统还具有下面特点：

所述接口模块，接收到所述数据后还用于，根据各采集模块的负载状况，选择负载小于阈值的多个采集模块，通知选中的采集模块进行数据采集。

进一步地，上述系统还具有下面特点：

所述接口模块，接收到所述数据后还用于，根据预置调度策略选择一个采集模块，将所述数据发送给该采集模块；由该采集模块将所述数据分发给所有的采集模块进行数据采集。

综上，本发明提供一种处理数据的方法及云存储系统，将分散的电子文档数据的进行数据汇聚，以便进行电子文档有效存储管理和便捷业务应用支持。为进行企事业单位电子文档的科学管理、有效利用，对现有割据在各业务部门或区域单位的电子文档，需要进行数据汇聚，提供有效存储管理和业务应用支持。

附图说明

图1是本发明实施例的业务专网侧进行数据处理的方法的流程图；

图2是本发明实施例的数据中心专网进行数据处理的方法的流程图；

图3为本发明实施例的数据处理的系统的示意图；