[发明专利]文档数据清洗方法、系统、电子设备、存储介质

权利要求书

1.一种文档数据清洗方法，其特征在于，所述方法包括：

获取待清洗的文档的图像版本，将文档的图像版本拆分为多个示例；

将示例转化为图像向量，并与预置的样本图像向量比较，判断示例是否需要去除；

去除需要去除的示例，拼接剩余的示例，获得清洗后的文档。

2.根据权利要求1所述的文档数据清洗方法，其特征在于，所述将文档的图像版本拆分为多个示例，包括：

基于多示例学习，将文档的图像版本拆分为多个多示例包；

其中，每个多示例包含有多个没有分类标签的示例。

3.根据权利要求2所述的文档数据清洗方法，其特征在于，所述将示例转化为图像向量，包括：

基于Transformer网络，先将示例拆分形成序列，再对序列进行编码，形成与示例对应的图像向量。

4.根据权利要求3所述的文档数据清洗方法，其特征在于，所述将示例转化为图像向量，并与预置的样本图像向量比较，包括：

将示例转化为图像向量；

将示例转化的图像向量与预置的样本图像向量进行欧几里得距离求解，将欧几里得距离作为两个图像向量的相似度；

将相似度大于预定阈值的示例判断为需要去除的示例；

其中，示例和预置的样本均通过相同的Transformer网络转化为图像向量。

5.根据权利要求1-4中任一所述的文档数据清洗方法，其特征在于，所述获得清洗后的文档之前，或者，所述将文档的图像版本拆分为多个示例之前，还包括：

对文档的图像版本进行色素检测，去除与当前图像整体不符的斑点。

6.根据权利要求5所述的文档数据清洗方法，其特征在于，所述将示例转化为图像向量，并与预置的样本图像向量比较，之前包括：

确认待清洗的文档中需要去除的信息类别；

选择与需要去除的信息类别所对应的样本图像的种类。

7.一种文档数据清洗系统，其特征在于，所述系统包括：

获取模块，所述获取模块获取待清洗的文档的图像版本，将文档的图像版本拆分为多个示例；

判断模块，所述判断模块将示例转化为图像向量，并与预置的样本图像向量比较，判断示例是否需要去除；

重构模块，所述重构模块去除需要去除的示例，拼接剩余的示例，获得清洗后的文档。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述文档数据清洗方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述文档数据清洗方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述文档数据清洗方法的步骤。