[发明专利]一种零售网站数据自动获取系统

说明书

本发明公开了一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，所述日志记录中心分别与数据查询模块和数据库相连。该零售网站数据自动获取系统，有利于减少人力损耗，能够自动下载各类单据数据，并便于进行数据的筛选处理存储，保证了数据的准确性、完整性以及及时性。

技术领域

本发明涉及一种数据自动获取系统，尤其涉及各类零售商网站的页面数据自动下载系统；此外，本发明还涉及自动下载数据校验监控的方法。

背景技术

为有效提高零供双方作业效率并及时共享信息，大型的零售商都建立供应链平台，开放给供应商使用，零售商在网站上发布与各供应商相关的单据(包含并不限于订货单、收货单、退货单、结算单、对账单、发票)、数据(包含并不限于实销数据、库存数据)，向各供应商传达各项讯息，供应商通过使用配套的账号密码登录网站，记录或者导出数据后，再进行后续数据处理。

一些零售商(如大润发、永辉等)会根据区域或产品分类，提供多个登录账号给供应商，因此供应商需要使用多个账号登录才能查看完整的单据数据；且零供双方基本每天都会发生单据、数据往来，数据频率与总量不断增大，此外，同一供应商通常同时服务多个零售商，因每个零售商的网站内容、数据格式、单据类型、数据呈现方式各不相同，人工处理量非常大，效率不高。

但由于零售商多及登陆账户量较大，目前人工登陆网站记录、获取各类单据数据的方式，在保证单据数据必须及时处理的前提下，需投入大量人力，且在这种高频率的纯人工处理方式下，无法保证数据的准确性、完整性、及时性，另外，记录的数据多种多样，分类、整理存在很大的困难，因此，我们提出一种零售网站数据自动获取系统，以便于解决上述中提出的问题。

发明内容

本发明的目的在于提供一种零售网站数据自动获取系统，以解决上述背景技术提出的目前由于零售商多及登陆账户量较大，目前人工登陆网站记录、获取各类单据数据的方式，在保证单据数据必须及时处理的前提下，需投入大量人力，且在这种高频率的纯人工处理方式下，无法保证数据的准确性、完整性、及时性，另外，记录的数据多种多样，分类、整理存在很大的困难的问题。

为实现上述目的，本发明提供如下技术方案：一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，所述日志记录中心分别与数据查询模块和数据库相连。

优选的，所述数据自动获取主程序由网站登陆模块进行模拟登陆，且网站登陆模块通过其内部设置的验证模块实现进行验证。

优选的，所述模拟登陆以及验证包含以下步骤：

步骤1：通过预设的网站、账号、密码，在网站登陆模块进行模拟登陆；

步骤2：模拟登陆过程中，通过网站登陆模块内部的验证模块进行登陆验证；

步骤3：所述的登陆验证方式有：数字验证码、字母验证码、文字组合验证码、滑动验证码等；

步骤4：若登陆验证识别失败则自动执行重试机制，进行反复登陆验证尝试，若登陆验证识别成功后，模拟进入网站各数据模块，进行模拟数据查询。

优选的，所述模拟数据查询包含以下步骤：