[发明专利]一种大数据处理方法和系统

说明书

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种大数据处理方法和系统。

背景技术

随着大数据的发展给人们的生活带来便利，大数据的安全问题也越来越引起人们的关注。大数据中可能涉及敏感数据，例如：姓名、身份证号码、地址、电话号码、银行账号、邮箱地址、所属城市、邮编、密码类数据、组织机构名称、营业执照号码、银行帐号、交易日期、交易金额等。

而目前各种数据库的代理服务器机制中，如图1所示，客户端应用通过代理服务器组来实现对源数据库的数据查询，其中，代理服务器组只起到数据代传的作用，而不能够将源数据库中的敏感数据进行脱敏处理。

那么通过集成代理服务器的方式实现数据库代理的方式在代理服务器维护、源数据库维护和数据安全方面都存在着较大的问题：

(1)代理服务器的搭建和维护

较大型的应用程序系统都会应用到多种数据库来保存不同的业务数据同而且不同的业务系统所采用的数据库类型也可能不一样，在这种情况下，如果将代理服务器的架构整合到系统中将是一个庞大的工程，不同的数据库搭建代理服务的方式也会不同；

在数据处理方面，各种数据库都有自己的处理方式，不便于统一管理；

在扩展方面，大部分数据库的代理处理方式不是开源的，难于再次开发；

在硬件方面，不同的数据库需要单独搭建服务器，耗费大量的硬件资源。

(2)源数据库的维护

因为源数据库的多样化，在更改代理服务器的数据处理方式的同时，可能就会牵涉到源数据库的相应配置的修改，因此在维护源数据库的时候，也会是一个非常困难的工作，出现差错的概率成倍增长。

(3)敏感数据维护

传统的数据库代理方式，不涉及到敏感数据的维护工作。这就给系统的安全性造成的威胁，一些非常重要的数据会直接暴露在终端用户面前，最终未达到保护数据的最终效果。随着信息技术的发展与大数据时代的到来，数据流通成为释放数据红利与价值的主要手段和途径，敏感数据在流通中缺乏有效管控，处于高风险状态。近年来，敏感数据泄漏事件屡见不鲜。敏感数据泄漏带来的不仅仅是经济损失，同时损害了金融机构和政府部门等权威机构的公信力，严重破坏了社会信用体系，影响了相关产业与全社会健康和谐发展。

发明内容

本发明提供了一种大数据处理方法和系统，以解决现有技术中的代理服务器只能对访问的数据进行代传而无法实现数据脱敏的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种大数据处理方法，应用于数据库代理系统，所述数据库代理系统包括数据库代理模块、数据探查模块、数据脱敏模块，该方法包括：

所述数据库代理模块接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块将所述响应数据返回至所述应用客户端。

根据本发明的另一方面，本发明还公开了一种大数据处理系统，包括：

数据库代理系统、源数据库；

所述数据库代理系统包括：数据库代理模块、数据探查模块、数据脱敏模块；

所述数据库代理模块，用于接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块，用于按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块，用于按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块，用于按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块，用于将所述响应数据返回至所述应用客户端。

与现有技术相比，本发明包括以下优点：