[发明专利]一种定时处理零售行业非公开大数据的方法

说明书

本发明公开了一种定时处理零售行业非公开大数据的方法。它具体包括如下步骤：数据申请方向数据提供方提出零售户数据获取申请取得对应的密钥信息和零售户数据的数据字典，并使用密钥注册需要获取数据的机器；调用数据提供方返回的数据下载接口侦听数据；侦听到有数据下达后开始自动下载传输到指定企业内部文件夹；通过自动解压程序对下载的数据文件进行解压，根据解压后的数据文件类型导入到对应的数据库；对照零售户数据的数据字典，通过ETL工具校验后，将标注日期的数据文件集成到企业内部数据平台。本发明的有益效果是：定时自动侦听、下载、解压以及导入压缩数据包，使得ETL工具的在此场景下效果得到了显著的提升。

技术领域

本发明涉及大数据处理相关技术领域，尤其是指一种定时处理零售行业非公开大数据的方法。

背景技术

随着数据成为企业资产，某些行业各单位开始或初步完成了内部数据平台的建设。企业外部的数据也越来越多地需要整合到企业内部，尤其是行业内的各种相关数据。但外部数据中存在某些非公开的数据，只能提供给行业内特定范围内的单位。如在集团按区域代理的行业中，全国零售户每天的销售数据，只能每天收集全国零售户的零售数据，然后进行汇总加工后向行业内的各家单位开放，各单位拿到行业数据后，与企业其他数据整合到一起进行加工使用。

由于行业内相关数据比较敏感以及出于其他安全因素考虑，数据提供方不允许对方直接通过传统的ETL工具直接对接获取数据，需要通过申请，获得许可后方可获得数据接口访问的权限。而且由于全国零售户众多，每天的零售数据量大，只能以压缩包的形式对外提供接口服务。传统的ETL工具只能从数据库或者指定的文件中获取数据，不能有效处理压缩包数据，使得ETL工具的在此场景下效果很差。当前尚没有对相关行业内非公开大数据进行定时处理的方法。

发明内容

本发明提供了一种定时处理零售行业非公开大数据的方法，解决了背景技术中披露的问题。

为了解决上述技术问题，本发明所采用的技术方案是：一种定时处理零售行业非公开大数据的方法，包括如下步骤：

步骤一、数据申请方向数据提供方提出数据获取申请，申请获准后取得对应的密钥信息和数据字典，并使用密钥信息注册需要获取数据的机器，数据提供方对机器进行认证；

步骤二、数据提供方向数据申请方发送数据下载接口，数据申请利用认证通过后的机器调用数据下载接口每天定时侦听是否有数据下达；

步骤三、当天侦听到有数据下达后开始自动下载并传输至数据申请方；

步骤四、通过自动解压程序对下载的数据文件进行解压，通过转换程序读取解压后的数据文件，并转换成能够兼容DB2数据的sql脚本，将sql脚本导入预先构建的DB2数据库执行，得到DB2的最新数据；

步骤五、利用ETL工具读取导入DB2的最新数据，对照数据字典中的数据进行脏数据、空数据清洗；对清洗后的数据进行字段信息转换，然后将转换后的数据信息汇总到预先构建的数据申请方数据平台中。

进一步地，所述步骤一中，数据申请方用非对称加密算法对密钥进行加密存储在磁盘中。

进一步地，所述步骤二中，数据下载接口通过定时器轮循的方式调用。

进一步地，所述步骤三中：通过配置好口令的SFTP服务将数据传输至数据申请方。

进一步地，所述步骤二中，数据申请方的机器认证需在规定时间内完成，过期前数据提供方向相应的数据申请方发送告警消息。

进一步地，所述步骤二中，当全天没有侦听到数据下达时，向数据申请方人员发送告警消息。

进一步地，所述步骤三中，当侦听到数据下达后但数据下载报错时向数据申请方发送告警消息，同时重新尝试发起数据下载处理流程；所述步骤四中解压过程报错时，向数据申请方发送告警消息，同时重新尝试发起解压数据处理流程；所述步骤五中导入过程报错时，向数据申请方发送告警消息，同时重新尝试发起导入数据处理流程。