[发明专利]数据处理系统

说明书

技术领域

本发明基本上涉及数据库领域，更具体地来说，涉及一种数据处理系统。

背景技术

在数据库领域，处理海量数据一般采用的传统硬件系统，其结构大多为单机(使用本机存储)、单机或者集群加共享存储(单个存储设备)两种模式。数据处理系统提交使用之前需要集成各部分组件，包括机柜、电源、节点机、存储、网络等各部件。目前使用的数据处理业务的硬件系统，对使用环境和人员有较高要求，如专用机房、专用制冷设备、独立的电源系统，网络等，同时对人员使用带来诸多不便，如管理、技能、各品牌兼容性等方面。

发明内容

为了克服上述现有技术的缺陷，本发明提供了一种数据处理系统，解决了如何提高数据处理系统处理效率的技术问题。

具体来说，本发明针对传统数据处理系统通常需要把大量数据从共享存储读取到服务器内存这一过程，而这一过程存在很多瓶颈，比如服务器内存处与磁盘IO速率差异很大、数据传输管道的数量和带宽是否满足大量数据传输、共享存储是否存在单点故障以及共享存储是否存在单点性能不足情况从以下五个方面进行了改进：(1)数据筛选；(2)减少内存与磁盘三者之间的IO速率差异；(3)增加数据传输的管道数量；(4)增加数据传输的管道带宽；(5)提升共享存储处理能力和冗余保护能力。

本发明提供了一种数据处理系统，包括：数据处理模块、数据存储模块和数据通信模块，所述数据通信模块用于在所述数据处理模块和所述数据存储模块之间传送数据，其中，所述数据处理模块中包括数据缓存子模块，所述数据缓存子模块用于存储处理频率高于预定频率阈值的数据。

在所述数据处理系统中，所述数据处理模块中还包括数据筛选子模块，所述数据筛选子模块用于判断所述数据处理模块所处理的数据的处理频率是否高于所述预定频率阈值，如果所述处理频率高于所述预定频率阈值，则将所处理的数据存储在所述数据缓存子模块中。

在所述数据处理系统中，所述数据处理模块还包括处理器和内存。

在所述数据处理系统中，所述数据处理模块由至少两台服务器实现。

在所述数据处理系统中，所述数据通信模块为无限带宽网络模块。

在所述数据处理系统中，所述无限带宽网络模块包括多个无限带宽网络接口，每个所述数据处理模块和每个所述数据存储模块通过所述多个无限带宽网络接口相通信。

在所述数据处理系统中，所述多个无限带宽网络接口为四个无限带宽网络接口。

在所述数据处理系统中，所述数据存储模块为多个数据存储模块、每个所述数据存储模块均包括处理器、内存和操作系统。

在所述数据处理系统中，所述数据处理模块根据存储策略将数据存储在对应数据存储模块中并且从对应数据存储模块中读取数据。

在所述数据处理系统中，所述存储策略包括应用数据存储模块数量最少的策略和所应用的每个数据存储模块所处理的数据量相同的策略。

通过本发明所描述的数据处理系统，能够提高数据处理系统的处理效率。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的实施例的数据处理系统的示意图；

图2是根据本发明的实例的数据处理系统的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是根据本发明的实施例的数据处理系统100的示意图。在该数据处理系统100中，包括有数据处理模块102、数据通信模块106和数据存储模块108。其中，数据处理模块102用于处理数据；数据通信模块106用于在数据处理模块102和数据存储模块108之间传送数据；数据存储模块108用于存储数据(包括但不限于原始数据和经过数据处理模块102处理的数据等等)。

数据处理模块102中包括数据缓存子模块104，数据缓存子模块104用于存储由数据缓存子模块104进行处理的处理频率(例如，单位时间内的处理次数)高于预定频率阈值的数据。也就是说，数据缓存子模块104能够存储数据处理模块102中经常处理(即处理频率较高，例如，处理频率高于预定频率阈值)的数据，减少了存数据处理模块102频繁访问数据存储模块108中的相对低速硬盘的概率，提高了访问效率，缓解了数据处理模块102中内存与磁盘速率的差异。