[发明专利]文档数据清洗方法、系统、电子设备、存储介质

说明书

本发明提供一种文档数据清洗方法、系统、电子设备、存储介质，所述方法包括：获取待清洗的文档的图像版本，将文档的图像版本拆分为多个示例；将示例转化为图像向量，并与预置的样本图像向量比较，判断示例是否需要去除；去除需要去除的示例，拼接剩余的示例，获得清洗后的文档。本发明可以对大多数各种形式的图像版本的文献进行清洗，大大数据清洗的成本，提高数据生产效率。

技术领域

本发明涉及数据清洗技术领域，尤其涉及一种文档数据清洗方法、系统、电子设备、存储介质。

背景技术

对于图像版本的文献中的冗余信息(包括隐私信息、水印信息等等)的清洗在很多实际生产场景中有着广泛的需求，近年来，随着基于人工智能的计算机视觉(ComputerVision)任务的相关算法技术蓬勃发展，利用AI技术辅助进行各种数据清洗是一个十分有价值的过程，可以为企业或个人节省大量的时间并且减少成本的消耗。

在日常对图像版本的文献进行处理解析时，经常遇到一些不想要的垃圾冗余信息夹杂在所需文本信息之中，比如一些页眉页脚信息、水印信息、二维码信息等。但是，将这些无用信息通过某种方式一次性地进行清洗掉，很难找到一个方便、有效的方法。

目前，对图像版本的文献进行清洗，通常利用编程语言将图像版本的文献中的文本进行读取，通过指定特定的规则进行清洗，这类方法实现较为简单，只能针对形式较为规整、需要剔除信息较少的文献。

发明内容

针对现有技术存在的问题，本发明提供一种文档数据清洗方法、系统、电子设备、存储介质。

本发明提供的一种文档数据清洗方法，所述方法包括：

获取待清洗的文档的图像版本，将文档的图像版本拆分为多个示例；

将示例转化为图像向量，并与预置的样本图像向量比较，判断示例是否需要去除；

去除需要去除的示例，拼接剩余的示例，获得清洗后的文档。

根据本发明提供的一种文档数据清洗方法，所述将文档的图像版本拆分为多个示例，包括：

基于多示例学习，将文档的图像版本拆分为多个多示例包；

其中，每个多示例包含有多个没有分类标签的示例。

根据本发明提供的一种文档数据清洗方法，所述将示例转化为图像向量，包括：

基于Transformer网络，先将示例拆分形成序列，再对序列进行编码，形成与示例对应的图像向量。

根据本发明提供的一种文档数据清洗方法，所述将示例转化为图像向量，并与预置的样本图像向量比较，包括：

将示例转化为图像向量；

将示例转化的图像向量与预置的样本图像向量进行欧几里得距离求解，将欧几里得距离作为两个图像向量的相似度；

将相似度大于预定阈值的示例判断为需要去除的示例；

其中，示例和预置的样本均通过相同的Transformer网络转化为图像向量。

根据本发明提供的一种文档数据清洗方法，所述获得清洗后的文档之前，或者，所述将文档的图像版本拆分为多个示例之前，还包括：

对文档的图像版本进行色素检测，去除与当前图像整体不符的斑点。

根据本发明提供的一种文档数据清洗方法，所述将示例转化为图像向量，并与预置的样本图像向量比较，之前包括：

确认待清洗的文档中需要去除的信息类别；

选择与需要去除的信息类别所对应的样本图像的种类。