[发明专利]一种大数据平台数据脱敏系统

说明书

本发明提供一种大数据平台数据脱敏系统，涉及大数据脱敏系统领域。包括系统架构、系统处理流程、敏感数据识别方法、系统主要功能，所述系统架构包括资源层、数据层、服务层、应用层、安全管理和运维管理，所述系统处理流程包括脱敏需求配置、敏感数据识别、脱敏策略配置、脱敏服务运行和脱敏状态监控五个环节，所述敏感数据识别分为两个阶段，即数据源注册和数据脱敏任务执行。本发明能够的安全有效的保护大数据信息和数据，并且更加精确理解用户需求、更细的粒度、更高的精确度和可用度、更佳的自动化程度、更好的抗破解能力、更强的扩展能力和更友好的方式呈现，从而满足用户多领域的数据交互、共享和融合需求。

技术领域

本发明涉及大数据脱敏系统领域，特别涉及一种大数据平台数据脱敏系统。

背景技术

大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，随着大数据的不断发展。

随着大数据时代的到来，大数据中蕴藏的巨大商业价值得以挖掘并面世，同时也带来了隐私、敏感信息保护方面的棘手难题，导致数据人员被不法分子盗取，并且人员操作也十分不便，如无法精确理解用户需求。

发明内容

(一)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种大数据平台数据脱敏系统，包括系统架构、系统处理流程、敏感数据识别方法、系统主要功能，所述系统架构包括资源层、数据层、服务层、应用层、安全管理和运维管理，所述系统处理流程包括脱敏需求配置、敏感数据识别、脱敏策略配置、脱敏服务运行和脱敏状态监控五个环节，所述敏感数据识别分为两个阶段，即数据源注册和数据脱敏任务执行，所述系统主要功能主要包括敏感数据识别、数据脱敏、脱敏验证主要部分组成；

所述资源层为数据脱敏服务提供基础性物理资源，包括计算资源、网络资源和存储资源；

所述数据层包括支持系统完成智能敏感数据发现、脱敏的各类数据库、知识库，针对不同敏感数据的脱敏规则库，管理规则及规则集合的脱敏策略库，支持智能敏感数据发现的本体知识库和机器学习所形成的模型库，运维管理和安全管理所需的权限库；

所述服务层以松耦合的方式承载数据脱敏所需的一系列核心服务及中间件，提供数据脱敏、规则化和服务化三大引擎；

所述应用层是面向最终用户，按照数据类型，提供数据库脱敏、文件脱敏以及多媒体脱敏；

所述运维管理包括用户、策略、数据源等系统要素及配置的管理，确保系统的可用性；

所述安全管理包括权限、角色和合规性安全隐私要素及配置的管理，确保系统的对外安全性和自身安全性，它与运维管理的协同。

优选的，所述脱敏需求配置是根据用户的资产重要性和数据价值对脱敏的粒度、强度和目标进行定义和配置；

所述敏感数据识别是对目标系统的全量数据进行智能识别，获取用户数据源中数据元信息、数据结构，对数据字段的内容进行分析，对格式和语义进行识别，对主键及外键进行处理，识别出系统中存在的敏感数据；

所述脱敏策略配置提供两种脱敏策略的配置方式，一种是基于系统内置的敏感数据类型，采用智能推荐方式进行脱敏策略的配置；另一种是支持用户自定义脱敏策略以及更改合适的脱敏算法；

所述脱敏服务运行按照用户需求进行静态数据脱敏和动态数据脱敏；

所述脱敏状态监控是持续对脱敏系统的运行情况进行监控和审计，及时发现异常并做出响应。

进一步，所述数据源注册时，系统将连接注册数据源，一方面验证数据源的联通性，一方面将获取该数据源的元数据和部分样例数据，系统将对样例数据执行一次敏感数据的初步识别，其步骤如下：