[发明专利]适应多种格式外部文件去重处理方法、装置、终端及介质

说明书

本发明公开了适应多种格式外部文件去重处理方法、装置、终端及介质，所述方法包括：获取选择指令，根据所述选择指令选择需要去重的文件；对需要去重的文件进行轮询，找出所述文件中重复的条目信息；判断是否接收到自动去重指令；当检测到自动去重指令，则对找出的所述文件中的重复的条目信息，自动保留第一条目信息，删除剩余的重复的条目信息；再次轮询所有行，获取指令对部分重复的条目内容根据需要审核修改，完成源文件去重。本发明可以自动筛选出重复数据，并自动除重，为用户的使用提供了方便。

技术领域

本发明涉及数据去重技术领域，尤其涉及的是一种适应多种格式外部文件去重处理方法、装置、智能终端及存储介质。

背景技术

在繁杂的Excel数据表中，有时候需要在一张数据很多的表格中，去掉重复值，用手工的办法操作，比较麻烦了。现有技术传统的方法，都会采用查找的方式，进行全文搜索。面对海量数据，查找的关键字用人工输入，是件费时费力的活，而且大大的消耗了资源。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种适应多种格式外部文件去重处理方法、装置、智能终端及存储介质，本发明提供了一种自动去重，快速筛选重复内容的方法。

本发明解决问题所采用的技术方案如下：

一种适应多种格式外部文件去重处理方法，其中，所述方法包括：

获取选择指令，根据所述选择指令选择需要去重的文件；

对需要去重的文件进行轮询，找出所述文件中重复的条目信息；

判断是否接收到自动去重指令；

当检测到自动去重指令，则对找出的所述文件中的重复的条目信息，自动保留第一条目信息，删除剩余的重复的条目信息；

再次轮询所有行，获取指令对部分重复的条目内容根据需要审核修改，完成源文件去重。

所述的适应多种格式外部文件去重处理方法，其中，所述获取选择指令，根据所述选择指令选择需要去重的文件；的步骤之前包括：

预先设置去重配置文件，所述配置文件包括：重复内容是否删除，是否高亮显示重复行，高亮显示的颜色设定，每次读取文件大小，是否生成去重后文件，新文件地址。

所述的适应多种格式外部文件去重处理方法，其中，所述获取选择指令，根据所述选择指令选择需要去重的文件；的步骤之前包括：

预先设置用于对各种文件进行去重的去重按钮。

所述的适应多种格式外部文件去重处理方法，其中，所述对需要去重的文件进行轮询，找出所述文件中重复的条目信息的步骤包括：

对需要去重的文件自动进行轮询，获取文件中的每一条数据，轮询比对；

一旦找到与其相同的数据内容，则抓取本行整体内容，并高亮显示本行内容，找出所述文件中重复的条目信息。

所述的适应多种格式外部文件去重处理方法，其中，所述当检测到自动去重指令，则对找出的所述文件中的重复的条目信息，自动保留第一条目信息，删除剩余的重复的条目信息的步骤还包括：

控制将去重处理进度通过实时的百分比进度条显示更新，并且显示预计完成所需时间。可目睹整个处理的进度和时间。

所述的适应多种格式外部文件去重处理方法，其中，所述再次轮询所有行，获取指令对部分重复的条目内容根据需要审核修改，完成源文件去重的步骤包括：

将对需要去重的文件中的数据进行轮询后，形成列表，包含初始内容和重复内容，一对多关系；