[发明专利]一种数据处理系统及数据处理方法

说明书

本发明提供了一种数据处理系统及数据处理方法，该数据处理系统包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；所述关系型数据库，还用于对所述第一数据处理结果进行展示。本方案能够提高用户的使用体验。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理系统及数据处理方法。

背景技术

随着计算机技术的不断发展与进步，企事业单位以及政府部门所需要处理的数据量急剧增加，为了满足用户对数据进行查询和处理的需求，通常采用数据库对海量数据进行处理。

目前，一般通过关系型数据库或大规模并行处理(Massive Parallel Processor，MPP)数据库对海量数据进行处理。

针对目前对海量数据进行处理的方法，关系型数据库可以提供高并发的交互式查询，但无法处理海量结构化数据的负载关联分析计算，MPP数据库具有较强的处理海量数据的能力，但是由于并发量不足无法提供高效的查询服务。因此，现有技术通过关系型数据或MPP数据库对海量数据进行处理的方法，由于关系型数据库处理海量数据能力不足，MPP数据库处理数据查询能力不足，导致两种数据库均无法满足用户的需求，导致用户的使用体验较差。

发明内容

本发明实施例提供了一种数据处理系统和数据处理方法，能够提高用户的使用体验。

第一方面，本发明实施例提供了一种数据处理系统，包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；

所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；

所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；

所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；

所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；

所述关系型数据库，还用于对所述第一数据处理结果进行展示。

可选地，

该数据处理系统进一步包括：数据库表迁移模块；

所述数据库表迁移模块，用于在所述数据同步模块将所述第一数据发送给所述MPP数据库之前，将所述关系型数据库中的数据库表迁移到所述MPP数据库中；

所述数据同步模块，用于根据被迁移到所述MPP数据库中的所述数据库表，将所述第一数据存储到所述MPP数据库中。

可选地，

所述关系型数据库，还用于根据所述用户的触发，获取待处理的第二数据，对所述第二数据进行处理获得第二数据处理结果，并对所述第二数据处理结果进行展示，其中，所述第二数据的数据量小于所述数据量阈值。

可选地，

所述关系型数据库，用于根据所述用户的触发判断所述第二数据是否存储在所述MPP数据库，如果是，向所述数据同步模块发送第一数据同步指令，否则直接读取存储在所述关系型数据库中的所述第二数据；