[发明专利]入库文件的过滤方法和装置

说明书

本发明提供了一种入库文件的过滤方法和装置，涉及数据处理技术领域，该方法包括：使用数据仓库工具Hive获取当前入库文件的校验码；查找目标目录中预先存储的校验码中是否有与当前入库文件的校验码一致的校验码；该预先存储的校验码是目标目录中已导入文件的校验码；如果是，丢弃当前入库文件；如果否，导入当前入库文件，并将当前入库文件的校验码写入目标目录。本实施例提供的入库文件的过滤方法，通过获取当前入库文件的校验码并与目标目录中已经存储的校验码进行对比，当查找到目标目录中存在与该当前入库文件的校验码一致的校验码时表明该当前入库文件已重复，在业务应用不做任何修改的情况下，实现了入库重复文件的过滤。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种入库文件的过滤方法和装置。

背景技术

随着数据海量剧增，单一的计算机已经不能存储海量数据，因此，分布式集群受到了广泛的关注。在分布式集群中，可以将数据分布到多台计算机中存储并且可以实现分布式计算。Hadoop是分布式系统的基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用廉价计算机集群的能力对数据进行高速运算和存储。Hive是Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，提供完整的结构化查询语言(SQL，StructuredQueryLanguage)查询功能，可以将SQL语句转换为MapReduce任务进行运行，也可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，Hive非常适合数据仓库的统计分析。

在使用Hive导入数据时，会出现数据重复导入的情况，例如程序异常对同一个文件进行了重复加载，或者业务人员提交多份命名不同但内容与已导入文件一致的文件。对于上述情况，现有技术中业务程序在处理文件时要识别文件是否已经加载，若重复就不能加载。这样做的缺点是每个业务程序都需要增加识别文件重复的模块，且在文件对比过程涉及到集群文件时遍历效率较低。

针对上述重复数据导入的问题，目前尚未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种入库文件的过滤方法和装置，以过滤重复文件。

第一方面，本发明实施例提供了一种入库文件的过滤方法，该方法通过数据仓库工具Hive实现，包括：使用数据仓库工具Hive获取当前入库文件的校验码；查找目标目录中预先存储的校验码中是否有与当前入库文件的校验码一致的校验码；该预先存储的校验码是目标目录中已导入文件的校验码；如果是，丢弃当前入库文件；如果否，导入当前入库文件，并将当前入库文件的校验码写入目标目录。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，使用数据仓库工具Hive获取当前入库文件的校验码包括：通过数据仓库工具中的HiveCheckSum函数获取当前入库文件的校验和checksum；将当前入库文件的校验和checksum作为当前入库文件的校验码。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，查找目标目录中预先存储的校验码中是否有与当前入库文件的校验码一致的校验码包括：Hive查找目标目录中是否存在校验码列表；如果存在校验码列表，在校验码列表中查找是否有与当前入库文件的校验码一致的校验码。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，还包括：如果不存在校验码列表，新建校验码列表；将当前入库文件的校验码存储至校验码列表中。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，丢弃当前入库文件之后还包括：返回文件重复的错误提示；导入当前入库文件，并将当前入库文件的校验码写入目标目录之后还包括：返回文件已录入的成功提示。