[发明专利]数据预处理方法、装置及计算机存储介质

说明书

本申请提供一种数据预处理方法、装置及计算机存储介质，数据预处理方法在ELT过程执行，所述ELT过程包括数据抽取阶段、数据清洗阶段、数据转换阶段、数据装载阶段，包括：在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理；在所述清洗阶段对所述脱敏后的数据进行清洗处理；在所述数据转换阶段对所述清洗处理后的数据进行聚合处理；在所述数据装载阶段，将所述聚合处理后的数据存储到数据仓库中以在后端应用中进行使用，从而提高了数据脱敏的效率。

技术领域

本申请实施例信息技术领域，尤其涉及一种数据预处理方法、装置及计算机存储介质。

背景技术

处理个人信息应当具有特定、明确和合理的目的,应当在个人信息主体知情的情况下获得个人信息主体的同意,应当在达成个人信息使用目的之后删除个人信息。这项标准最显著的特点是将个人信息分为个人一般信息和个人敏感信息,并提出了默许同意和明示同意的概念。对于个人一般信息的处理可以建立在默许同意的基础上,只要个人信息主体没有明确表示反对,便可收集和利用。但对于个人敏感信息,则需要建立在明示同意的基础上,在收集和利用之前,必须首先获得个人信息主体明确的授权。敏感数据一般指不当使用或未经授权被人接触或修改侵犯个人隐私权的所有信息。

为此，随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战–个人隐私信息的保护。个人信息与个人行为(比如位置信息、消费行为、网络访问行为)等，这些都可界定为个人隐私信息，属于个人敏感信息，在大数据价值挖掘的基础上如何保护人的隐私信息，也将是数据脱敏必须解决的难题。所谓数据脱敏(Data Masking),又可称之为数据漂白、数据去隐私化或数据变形，其主要是对某些敏感信息通过脱敏规则进行数据的变形，实现敏感数据的可靠保护。

但是，现有技术中，都是在数据后续应用的过程中才对其中的敏感数据进行脱敏处理，由此导致对敏感数据的脱敏效率较差。

发明内容

有鉴于此，本申请实施例所解决的技术问题之一在于提供一种数据预处理方法、装置及计算机存储介质，用以克服或者缓解现有技术中上述缺陷。

第一方面，本申请实施例提供一种数据预处理方法，其在ELT过程执行，所述ELT过程包括数据抽取阶段、数据清洗阶段、数据转换阶段、数据装载阶段，包括：

在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理；

在所述清洗阶段对所述脱敏后的数据进行清洗处理；

在所述数据转换阶段对所述清洗处理后的数据进行聚合处理；

在所述数据装载阶段，将所述聚合处理后的数据存储到数据仓库中以在后端应用中进行使用。

可选地，在本申请一实施例中，所述在所述数据抽取阶段从数据源抽取数据并对抽取到的数据进行脱敏处理，包括：在所述数据抽取阶段从数据源抽取数据并对抽取到的数据依次执行敏感数据发现、敏感数据梳理、脱敏方案制定、脱敏任务执行以对抽取到的数据进行脱敏处理。

可选地，在本申请一实施例中，对抽取到的数据执行敏感数据发现时，根据敏感数据特征以及分词模型，识别所述抽取到的数据中的敏感数据。

可选地，在本申请一实施例中，对抽取到的数据执行敏感数据梳理时，对所述敏感数据进行关系的关联。

可选地，在本申请一实施例中，对抽取到的数据执行脱敏方案制定时，根据数据脱敏需求以及基准脱敏算法，配置脱敏策略；

对抽取到的数据执行脱敏任务执行时，根据配置的脱敏策略对抽取到的数据进行脱敏处理。

可选地，在本申请一实施例中，所述根据配置的脱敏策略对抽取到的数据进行脱敏处理，包括：根据所述敏感数据的类型，调取对应的脱敏策略对抽取到的数据进行脱敏处理，其中，为不同类型的所述敏感数据配置了不同的脱敏策略。