[发明专利]一种基于云计算的数据处理系统

说明书

技术领域

本发明涉及一种数据处理系统，更具体地，涉及一种基于云计算的数据处理系统。

背景技术

随着网络信息技术的快速发展，数据的传播速度日益加快，网络上各种各样信息的数据量也越来越多，网络数据已经成为人们获取知识和信息的一个重要来源。在各行各业中，通过网络来查找需要的信息来为工作提供帮助和支持已经被广泛的使用和接受，并且，由于网络数据的及时性、快捷性和无地域性限制等优点，网络信息的使用正在深刻地改变着人们的生活和工作。

随着网络信息的日益膨胀，对用户根据自己的需要获得准确、全面和有用的信息提出了不小的挑战，由于网络信息量的急速增长，个人已经很难通过简单的终端设备来快速有效地获取更加全面的信息和数据。近年来兴起的云计算技术为这一问题的解决提供了一种有效的解决途径，云计算平台是一种不同于用户终端设备的新型计算模式，其可以将大量的终端设备通过云计算的方式连接起来，为某个或者某些特定的用户提供高效的计算服务。目前，已经有很多公司开始提供云计算服务，对于普通用户来说，通过相应的云计算平台，就可以摆脱个人终端设备计算能力的局限，依靠云计算平台中的强大硬件资源和软件资源来快速、高效和准确地得到自己想要的信息，这对于需要在海量的网络信息中获取及时、准确信息的用户来说具有非常强的吸引力，已经正在被越来越多的用户所认可，也已经成为未来网络信息技术发展的一个趋势。

在云计算平台中，很多时候，会有很多用户同时通过云计算平台来进行网络信息的查找，如何能够使得云计算平台同时满足众多用户的使用需求，并且保证云计算平台的高效运行，及时快速地为用户提供数据处理服务，已经成为制约云计算平台发展的一个重要瓶颈。因此，提高利用云计算平台进行数据处理的效率，为用户提高更好的使用体验，已经成为一个急待解决的问题。

发明内容

基于上述问题，本发明提出了一种新型的基于云计算的数据处理系统，其能够使得用户高效快捷地利用云计算平台进行数据的挖掘和处理，并通过在数据挖掘的过程中进行数据检查、数据统计等，为用户提供更好的数据处理服务。

本发明的基于云计算的数据处理系统包括云计算平台和数据处理服务器，所述云计算平台包括数据挖掘模块、数据处理模块、数据发送模块，所述数据处理服务器包括数据接收模块、数据处理模块和数据传输模块；其中，所述云计算平台的数据挖掘模块包括任务拆分单元、多个挖掘操作单元和挖掘整合单元，所述任务拆分单元用于将发起的挖掘任务拆分成多个并行的子任务，并将每个子任务按照相应的逻辑顺序发送到相应的挖掘操作单元，挖掘操作单元将挖掘到的相应数据发送给挖掘整合单元，挖掘整合单元根据保存的并行算法将多个挖掘单元发送的数据进行整合；所述云计算平台的数据处理模块对挖掘得到的数据进行处理后，通过数据发送模块将数据发送至数据处理服务器；所述数据处理服务器的数据接收模块接收到云计算平台发送的数据后，通过其数据处理模块对获取的数据进行处理，所述数据传输模块用于将处理后的数据传输到数据存储库中。

其中，所述云计算平台还包括数据检查模块和数据统计模块，所述数据检查模块用于根据数据中的校验信息来对获取的数据进行文件级检查；所述数据统计模块用于对获取的数据进行统计，统计的内容包括：数据的来源、数据的发布日期、数据的类型等。

其中，所述数据检查模块在对所述数据进行文件级检查之后，生成文件级检查报告，并将该检查报告发送给用户。

其中，所述云计算平台还包括数据量控制模块，所述数据量控制模块计算数据挖掘模块获取到的数据总量，并根据预先设定的阈值来进行判断，如果判断的结果是获取的数据量大于该阈值，那么将会按照一定的规则抛弃相应的数据量，从而使得待处理的总数据量与该阈值保持一致。

其中，所述数据挖掘模块接收用户发送的数据挖掘请求，根据该用户的数据挖掘请求与数据挖掘任务的对应关系获取该数据挖掘请求对应的数据挖掘任务，将获取的该数据挖掘任务拆分为多个子任务，并将每个子任务的参数配置信息发送给用户。

附图说明

图1是本发明的基于云计算的数据处理系统的组成结构示意图。

具体实施方式

下面，将会结合附图1对本发明的基于云计算的数据处理系统及其工作原理进行详细的描述。本领域技术人员应当能够理解的是，附图1所示的数据处理系统仅是本发明的一个示例而已，其并不是对本发明的限制，本发明的保护范围应当由权利要求书所限定。