[发明专利]数据处理方法、装置及计算设备、存储介质

说明书

本申请提供一种数据处理方法、装置及计算设备、存储介质，涉及数据处理技术领域，该方法应用于收集和解析服务器Logstash，包括：针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；将所述脱敏数据分发给所述业务系统。该方式中针对不同操作权限的业务系统设置不完全相同的数据处理规则，使得脱敏数据更加符合业务系统的需求，提升了数据脱敏的效率，且使数据脱敏更加灵活。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及计算设备、存储介质。

背景技术

随着大数据时代的到来，大数据商业价值的挖掘，用户的精准定位，大数据中蕴藏的巨大商业价值被逐步挖掘出来，但是同时也带来了巨大的挑战——个人隐私保护。个人信息与个人行为(比如位置信息、消费信息、网络访问行为)等，这些都是人的隐私，也是敏感信息，在大数据价值挖掘的基础上如何保护人的隐私，是数据处理必须解决的难题。

相关技术中，通过对数据脱敏使得敏感信息不被泄露，之后将脱敏后的数据发送给查询数据的用户来解决敏感信息容易被泄露的难题。但相关技术中，数据脱敏的形式单一，不能满足用户需求。

发明内容

本申请实施例提供一种数据处理方法、装置及计算设备、存储介质，用以提高数据处理的灵活性。

第一方面本申请实施例提供数据处理方法，所述方法应用于收集和解析服务器Logstash，包括：

针对任一业务系统，采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据；其中，所述预设的数据处理规则是根据预先约定的业务系统的数据操作权限设置的；不同的所述业务系统对应的所述预设的数据处理规则不完全相同；

将所述脱敏数据分发给所述业务系统。

在一个实施例中，所述数据处理规则包括：数据抽取规则以及数据脱敏规则。

在一个实施例中，所述数据抽取规则包括：待抽取数据的数量、抽取数据的类型中的至少一种。

在一个实施例中，所述基于预设的数据处理规则对生产数据库中的数据进行脱敏，获取脱敏数据之前，还包括：

通过日志数据采集器filebeat工具并基于所述数据抽取规则从所述生产数据库的数据中抽取数据，得到抽取数据；

所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：

采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏，获取脱敏数据。

在一个实施例中，所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏之前，还包括：

对所述filebeat工具进行身份验证；

所述采用所述业务系统对应的预设的数据处理规则对生产数据库中的数据进行脱敏，包括：

若确定所述filebeat工具进行身份验证通过，则采用所述业务系统对应的预设的数据处理规则中的数据脱敏规则对所述抽取数据进行脱敏。

在一个实施例中，所述将所述脱敏数据分发给对应的业务系统，包括：

将所述脱敏数据分发至预先绑定的搜索服务器(ElasticSearch，ES)节点存储，以使所述业务系统从所述ES节点中获取所述脱敏数据，其中所述ES节点是基于倒排索引的数据存储方式存储脱敏数据的，且所述ES节点中绑定有所述各业务系统的指定地址，所述指定地址为所述业务系统的网际互联协议(Internet Protocol，IP)地址。