[发明专利]大数据平台敏感数据的发现方法、装置、设备及存储介质

说明书

本发明涉及一种大数据平台敏感数据的发现方法、装置、设备及存储介质，该发现方法包括如下步骤：将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；根据分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；根据发现策略库对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。本发明全面提升了敏感数据的发现能力及准确度。

技术领域

本发明涉及信息安全及大数据技术领域，特别是涉及一种大数据平台敏感数据的发现方法。

背景技术

随着互联网及大数据相关技术的快速发展，企业信息采集、存储、传播已达到了空前规模,全球数据量出现爆炸式增长。大数据时代的到来使得大数据平台应用更加广泛。一方面，大数据平台为这些海量、异构、多样化的数据提供存储和运算能力，另一方面通过大数据平台的数据挖掘和人工智能分析大数据中的特点、规律和趋势，为决策提供信息参考。但随着大数据平台应用推广及数据的开放、共享程度进一步扩大，伴随而来的敏感信息窃取、数据篡改、黑客攻击、病毒侵袭等诸多数据安全事件愈发频繁。如何快速、精准发现大数据组件内的敏感数据，对确保大数据组件内敏感数据安全，最小化数据安全风险起着至关重要的作用。

现有敏感数据发现技术主要通过接口连接大数据平台组件，采集组件内存储敏感数据的文件或表结构，提取疑似敏感数据的关键字(如字段名或表名中含有用户、账单等对应拼音或英文字样)，然后通过预先设置的敏感数据发现规则与关键字进行匹配比对，匹配成功，则认为该数据为敏感数据，否则，则认为该数据为非敏感数据。

上述技术方案存在以下缺陷：一是，数据采集扩展能力差，无法适应新平台或组件的数据采集。针对不同的大数据平台或组件，定制不同的数据采集方案，在面对新平台或组件时，必须根据其特性进行定制开发才能满足数据的采集，数据采集扩展能力差，采集性能低下。二是，识别精准度差，发现效率低下。通过单个判别规则和数据中的关键字进行匹配完成识别动作，敏感数据识别逻辑过于简单。对于由多个关键字共同出现才能视为敏感数据的识别场景，如同时出现姓名、住址、手机号信息才能视为敏感信息，现有技术无法识别。

发明内容

本发明的目的是提供一种大数据平台敏感数据的发现方法及装置，其能够精准发现复杂场景下的敏感数据。

一方面，本发明实施例提供了一种大数据平台敏感数据的发现方法，其包括如下步骤：将大数据组件内需要保护的敏感数据进行分类，定义每类敏感数据的具体内容及属性，并根据数据重要性或敏感程度确认敏感数据的敏感级别；根据分类及敏感级别，配置敏感数据的发现规则及发现策略，形成发现策略库；通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据；根据发现策略库对采集的有效数据进行模式匹配，析取敏感数据信息，对敏感数据信息进行属性补全并保存。

根据本发明实施例的一方面，通过脚本命令从大数据组件内采集用于敏感数据分析的有效数据包括：根据大数据组件的类型从内置的脚本库中获取其对应的数据采集脚本；获取用于连接大数据组件的相关参数，执行数据采集脚本，以连接大数据组件；通过执行不同的数据采集脚本，采集对应的数据信息；过滤数据信息，筛选出新增或变更的数据信息，以此作为用于敏感数据分析的有效数据。

根据本发明实施例的一方面，如果内置的脚本库无法支持复杂场景下的敏感数据，则通过自定义的方式手动配置生成新的采集脚本，测试成功后将采集脚本作为内置脚本信息保存至内置的脚本库。

根据本发明实施例的一方面，根据发现策略库对采集的有效数据进行模式匹配、析取敏感数据信息包括：获取用于析取敏感数据的有效数据；从发现策略库中获取敏感数据的发现规则及发现策略；采用模式匹配的方法将有效数据与发现规则及发现策略进行逐条匹配；如果匹配成功，则标识其为敏感数据。