[发明专利]入库文件的过滤方法和装置

权利要求书

1.一种入库文件的过滤方法，其特征在于，所述方法通过数据仓库工具Hive实现，包括：

使用数据仓库工具Hive获取当前入库文件的校验码；

查找目标目录中预先存储的校验码中是否有与所述当前入库文件的校验码一致的校验码；所述预先存储的校验码是所述目标目录中已导入文件的校验码；

如果是，丢弃所述当前入库文件；

如果否，导入所述当前入库文件，并将所述当前入库文件的校验码写入所述目标目录；

其中，所述查找目标目录中预先存储的校验码中是否有与所述当前入库文件的校验码一致的校验码包括：

所述Hive查找所述目标目录中是否存在校验码列表；

如果存在所述校验码列表，在所述校验码列表中查找是否有与所述当前入库文件的校验码一致的校验码；

如果不存在所述校验码列表，则新建校验码列表，并将所述当前入库文件的校验码存储至所述校验码列表中；

其中，所述使用数据仓库工具Hive获取当前入库文件的校验码包括：

通过数据仓库工具中的Hive CheckSum函数获取当前入库文件的校验和checksum；

将所述当前入库文件的校验和checksum作为所述当前入库文件的校验码。

2.根据权利要求1所述的方法，其特征在于，所述丢弃所述当前入库文件之后还包括：

返回文件重复的错误提示；

所述导入所述当前入库文件，并将所述当前入库文件的校验码写入所述目标目录之后还包括：

返回文件已录入的成功提示。

3.一种入库文件的过滤装置，其特征在于，所述装置通过数据仓库工具Hive实现，包括：

校验码获取模块，用于使用数据仓库工具Hive获取当前入库文件的校验码；

校验码查找模块，用于查找目标目录中预先存储的校验码中是否有与所述当前入库文件的校验码一致的校验码；所述预先存储的校验码是所述目标目录中已导入文件的校验码；

丢弃模块，用于如果是，丢弃所述当前入库文件；

导入模块，用于如果否，导入所述当前入库文件，并将所述当前入库文件的校验码写入所述目标目录；

其中，所述校验码查找模块还用于：

所述Hive查找所述目标目录中是否存在校验码列表；

如果存在所述校验码列表，在所述校验码列表中查找是否有与所述当前入库文件的校验码一致的校验码；

校验码列表新建模块，用于如果不存在所述校验码列表，则新建校验码列表；

校验码存储模块，用于将所述当前入库文件的校验码存储至所述校验码列表中；

其中，所述校验码获取模块还用于：

通过数据仓库工具中的Hive CheckSum函数获取当前入库文件的校验和checksum；

将所述当前入库文件的校验和checksum作为所述当前入库文件的校验码。

4.根据权利要求3所述的装置，其特征在于，所述丢弃模块还用于：返回文件重复的错误提示；

所述导入模块还用于：返回文件已录入的成功提示。