[发明专利]一种基于改进Faster R-CNN的视频与图像脱敏方法

说明书

本发明公开了基于改进FasterR‑CNN的视频与图像脱敏方法，包括检测网络建立和后处理模块。检测网络建立包括SwinTransformer‑s特征提取模块、特征金字塔网格、RPN、RoIPooling操作和Soft‑NMS技术；SwinTransformer‑s提供更细致的特征表示和更丰富的语义信息，特征金字塔网格模块集成语义特征与区域纹理特征，传递更多信息，Soft‑NMS技术缓解了误删重叠框的情况；后处理模块包括多进程加速、异常值过滤、连续帧漏检补全、模糊化处理。本发明还编写了便捷式推理模糊shell脚本，并将shell脚本和模型运行环境写入Dockerfile，方便后续使用。

技术领域

本发明属于计算机视觉领域中的目标检测技术领域，尤其涉及一种基于改进Faster R-CNN的视频与图像脱敏方法。

背景技术

数据安全对互联网公司、传统行业来说一直是极为重视和敏感的话题。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照相关部门规定，都需要进行数据脱敏。视频以及图像数据是自动驾驶领域所需数据的主要形式。在采集自动驾驶所需的视频或图像数据时，行人的人脸以及机动车的车牌也被记录。这些采集过的数据需要进行脱敏处理之后才可以进行使用，否则极易泄漏他人隐私。传统的数据脱敏，需要人工手动在图像或视频中标记敏感区域，耗时也容易出错。因此，寻找一种可以快速准确进行数据脱敏的方法至关重要。

Faster-RCNN是two-stage目标检测模型中的代表之作。Faster-RCNN是2015年提出的端到端深度学习检测算法，其通过添加RPN网络，基于Anchor机制来生成候选框(代替selective search)，最终将特征提取、候选框选取、边框回归和分类都整合到一个网络中，从而有效的提高检测精度和检测效率。Faster-RCNN的具体的流程是将输入图像缩放以后进入到卷积层提取特征得到特征图，然后特征图送入RPN网络生成一系列可能的候选框，接下来将原始的特征图和RPN输出的所有候选框输入到RoI Pooling层进行提取收集,并计算出固定大小7×7的建议特征图送入全连接层进行目标分类与坐标回归。然而，虽然FasterR-CNN已在多个基准数据集上取得了不错的指标，标准的Faster R-CNN模型仍然存精度不够高和推理速度慢的局限性。

发明内容

本发明目的在于提供一种基于改进Faster R-CNN的视频与图像脱敏方法,可以实现半自动数据脱敏；该发明通过改进现有的目标检测网络和多重后处理操作，优化检测结果，加快推理速度，并对检测结果进行模糊化处理，最后将上述流程写入dockerfile以及shell脚本，便于后续使用，已解决标准的Faster R-CNN模型仍然存精度不够高和推理速度慢的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于改进Faster R-CNN的视频与图像脱敏方法，可以作为视频或图像脱敏的一种半自动方法，减少手动注释的需要，并改进标准的Faster R-CNN模型精度不够高和推理速度慢的问题，具体包含如下步骤：

步骤1：建立传统Faster R-CNN目标检测模型并对其进行改进；

步骤2：对改进之后的目标检测模型进行训练，训练使用的数据集为人脸车牌数据集；

步骤3：使用训练完毕的模型对视频(连续帧图片)或图像进行推理预测并进行后处理优化，对优化完毕的结果进行模糊化处理；

步骤4：将整体流程编写为Dockerfile文件，以及shell脚本，实现上述流程一键化实现。

进一步的，步骤1具体包括：

步骤1.1：使用Swin Transformer_small模型代替原有的backbone模块；