[发明专利]入库文件的过滤方法和装置

摘要

本发明提供了一种入库文件的过滤方法和装置，涉及数据处理技术领域，该方法包括：使用数据仓库工具Hive获取当前入库文件的校验码；查找目标目录中预先存储的校验码中是否有与当前入库文件的校验码一致的校验码；该预先存储的校验码是目标目录中已导入文件的校验码；如果是，丢弃当前入库文件；如果否，导入当前入库文件，并将当前入库文件的校验码写入目标目录。本实施例提供的入库文件的过滤方法，通过获取当前入库文件的校验码并与目标目录中已经存储的校验码进行对比，当查找到目标目录中存在与该当前入库文件的校验码一致的校验码时表明该当前入库文件已重复，在业务应用不做任何修改的情况下，实现了入库重复文件的过滤。

主权项

一种入库文件的过滤方法，其特征在于，所述方法通过数据仓库工具Hive实现，包括：使用数据仓库工具Hive获取当前入库文件的校验码；查找目标目录中预先存储的校验码中是否有与所述当前入库文件的校验码一致的校验码；所述预先存储的校验码是所述目标目录中已导入文件的校验码；如果是，丢弃所述当前入库文件；如果否，导入所述当前入库文件，并将所述当前入库文件的校验码写入所述目标目录。