[发明专利]基于分布式调度的图像脱敏处理系统、方法以及装置

说明书

本申请提供基于分布式调度的图像脱敏处理系统、方法以及装置，其中，所述基于分布式调度的图像脱敏处理系统包括：分布式调度平台，被配置为提取项目成员提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；包含多个计算节点的分布式集群，所述计算节点包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块。所述基于分布式调度的图像脱敏处理系统，能够极大的提升图像脱敏处理效率，同时提升了图像敏感特征识别的准确度，在此基础上进行的图像脱敏处理的准确度也得以提升。

技术领域

本申请涉及图像处理技术领域，特别涉及一种基于分布式调度的图像脱敏处理系统。本申请同时涉及一种基于分布式调度的图像脱敏处理方法以及装置，一种图像脱敏处理的分布式调度方法以及装置，两种计算设备，以及两种计算机可读存储介质。

背景技术

随着大数据时代的到来，数据中蕴藏的商业价值得到充分挖掘，并在数据挖掘的基础上实现用户的精准定位，从而能够向用户提供更有针对性的营销推荐策略和服务策略，但随之也带来了巨大的挑战--用户隐私的保护，如何在进行数据挖掘的同时更好的保护用户的隐私，将成为数据脱敏面对的最大的难题。数据脱敏，是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。

目前对文本信息的脱敏处理，主要是通过自然语言处理识别文本内容，在识别文本内容的基础上，对文本内容当中包含的用户隐私信息，比如对用户的姓名、身份证号、手机号、银行卡号等进行脱敏处理。但目前的数据脱敏方法在对图像进行脱敏时，只能从文字的角度进行脱敏处理，首先需要识别图像当中的文字信息，然后识别文字信息中包含的敏感信息，最后对图像中包含的敏感信息进行脱敏处理，但对于大批量图像进行脱敏处理时，受限于单台机器的资源，尤其是图像识别依赖机器的GPU(Graphics Processing Unit)资源，导致针对图像脱敏处理的处理效率较低，存在较大缺陷。

发明内容

有鉴于此，本申请实施例提供了一种基于分布式调度的图像脱敏处理系统，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种基于分布式调度的图像脱敏处理方法以及装置，一种图像脱敏处理的分布式调度方法以及装置，两种计算设备，以及两种计算机可读存储介质。

本申请提供一种基于分布式调度的图像脱敏处理系统，包括：

分布式调度平台以及包含多个计算节点的分布式集群；

所述分布式调度平台，被配置为提取项目成员在参与项目过程中提交的项目案件的案件材料中包含的待处理图像，对所述待处理图像进行聚类，根据图像分类与所述计算节点上部署的图像识别模型的对应关系，将聚类获得的至少一个图像分类包含的待处理图像路由至对应图像识别模型所部署的计算节点；

所述计算节点，包括图像特征提取模块、特征降维模块、敏感特征识别模块和图像脱敏处理模块；

其中，所述图像特征提取模块，被配置为接收所述分布式调度平台路由的待处理图像，提取所述待处理图像在多个特征维度的初始图像特征；

所述特征降维模块，被配置为对所述多个特征维度的初始图像特征进行降维处理，获得所述待处理图像在至少一个图像脱敏维度的图像特征；

所述敏感特征识别模块，被配置为通过将所述待处理图像和所述特征降维模型输出的至少一个图像脱敏维度的图像特征输入所述计算节点部署的图像识别模型进行敏感特征识别；

所述图像脱敏处理模块，被配置为对所述待处理图像中的敏感特征进行脱敏处理。

可选的，所述分布式调度平台采用如下方式对所述待处理图像进行聚类：