[发明专利]一种定时处理零售行业非公开大数据的方法

权利要求书

1.一种定时处理零售行业非公开大数据的方法，其特征是，包括如下步骤：

步骤一、数据申请方向数据提供方提出数据获取申请，申请获准后取得对应的密钥信息和数据字典，并使用密钥信息注册需要获取数据的机器，数据提供方对机器进行认证；

步骤二、数据提供方向数据申请方发送数据下载接口，数据申请利用认证通过后的机器调用数据下载接口每天定时侦听是否有数据下达；

步骤三、当天侦听到有数据下达后开始自动下载并传输至数据申请方；

步骤四、通过自动解压程序对下载的数据文件进行解压，通过转换程序读取解压后的数据文件，并转换成能够兼容DB2数据的sql脚本，将sql脚本导入预先构建的DB2数据库执行，得到DB2的最新数据；

步骤五、利用ETL工具读取导入DB2的最新数据，对照数据字典中的数据进行脏数据、空数据清洗；对清洗后的数据进行字段信息转换，然后将转换后的数据信息汇总到预先构建的数据申请方数据平台中。

2.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤一中，数据申请方用非对称加密算法对密钥进行加密存储在磁盘中。

3.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤二中，数据下载接口通过定时器轮循的方式调用。

4.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤三中：通过配置好口令的SFTP服务将数据传输至数据申请方。

5.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤二中，数据申请方的机器认证需在规定时间内完成，过期前数据提供方向相应的数据申请方发送告警消息。

6.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤二中，当全天没有侦听到数据下达时，向数据申请方人员发送告警消息。

7.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤三中，当侦听到数据下达后但数据下载报错时向数据申请方发送告警消息，同时重新尝试发起数据下载处理流程；所述步骤四中解压过程报错时，向数据申请方发送告警消息，同时重新尝试发起解压数据处理流程；所述步骤五中导入过程报错时，向数据申请方发送告警消息，同时重新尝试发起导入数据处理流程。

8.根据权利要求1所述的一种定时处理零售行业非公开大数据的方法，其特征是，所述步骤五中，当侦听并下载解压后的数据文件在校验时出现某些字段数据异常或为空时，向数据申请方发送告警消息。

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。

10.一种计算设备，其特征在于，包括：

一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。