[发明专利]一种零售网站数据自动获取系统

权利要求书

1.一种零售网站数据自动获取系统，包括数据自动获取主程序、数据查询模块和日志记录中心，其特征在于：所述数据自动获取主程序的上层连接安装在主机上的开始程序，且数据自动获取主程序的下层设置有网站登陆模块，所述网站登陆模块的下层通过电信号连接模拟进入各数据模块，所述数据查询模块设置在模拟进入各数据模块与模拟数据抓取模块之间，且模拟数据抓取模块与数据抓取模块相连，所述数据抓取模块的下层连接数据解析中心，且数据解析中心的下层连接有数据库，所述日志记录中心分别与数据查询模块和数据库相连。

2.根据权利要求1所述的一种零售网站数据自动获取系统，其特征在于：所述数据自动获取主程序由网站登陆模块进行模拟登陆，且网站登陆模块通过其内部设置的验证模块实现进行验证。

3.根据权利要求2所述的一种零售网站数据自动获取系统，其特征在于：所述模拟登陆以及验证包含以下步骤：

步骤1：通过预设的网站、账号、密码，在网站登陆模块进行模拟登陆；

步骤2：模拟登陆过程中，通过网站登陆模块内部的验证模块进行登陆验证；

步骤3：所述的登陆验证方式有：数字验证码、字母验证码、文字组合验证码、滑动验证码等；

步骤4：若登陆验证识别失败则自动执行重试机制，进行反复登陆验证尝试，若登陆验证识别成功后，模拟进入网站各数据模块，进行模拟数据查询。

4.根据权利要求3所述的一种零售网站数据自动获取系统，其特征在于：所述模拟数据查询包含以下步骤：

步骤1：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，若数据查询失败则自动执行重试机制，进行再次查询尝试；

步骤2：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，查询成功则自动识别查询结果是否有数据，若检测结果为“无数据”，则自动返回检测结果，且作为执行结果记录写入日志表中；

步骤3：验证并成功登陆后，按模拟预设的各模块查询条件(或查询原则)，进行模拟数据查询，查询成功则自动识别查询结果是否有数据，若检测结果为“有数据”，则进行数据抓取处理。

5.根据权利要求1所述的一种零售网站数据自动获取系统，其特征在于：所述数据抓取模块分别与数据查询模块、模拟数据抓取模块和数据解析中心相连接；

同时模拟数据抓取模块按预设逻辑、字段范围进行数据抓取处理，若数据抓取失败，则自动返回到模拟查询步骤，进行再一次模拟查询及抓取处理，若数据抓取成功后，根据网站的数据格式在数据解析中心内进行数据解析。

6.根据权利要求5所述的一种零售网站数据自动获取系统，其特征在于：所述数据解析的步骤为数据抓取成功后，根据网站的数据格式进行数据解析，成功解析后，根据预设的各单据、数据唯一性判断原则，对多次下载的数据进行重复性判断及数据更新判断，并写入数据库。

7.根据权利要求6所述的一种零售网站数据自动获取系统，其特征在于：所述数据处理中心将数据信息传输进数据库内，且数据库接收信息并自动进行执行结果记录，并且将结果记录传输至日志记录中心。

8.根据权利要求7所述的一种零售网站数据自动获取系统，其特征在于：所述日志写入完成后，则单次数据自动获取处理执行完成。

9.根据权利要求1所述的一种零售网站数据自动获取系统，其特征在于：所述数据自动获取主程序与定时程序相连，其可按实际作业需求(固定频率，开始、结束时间范围)进行数据定时自动下载处理，并根据定时任务监控每次下的执行情况，且进行日志写入。

10.根据权利要求1所述的一种零售网站数据自动获取系统，其特征在于：所述数据自动获取主程序还与自动下载程序相连，且自动下载程序根据预设的各单据、数据的唯一性判断原则对多次下载的数据进行重复性、更新情况进行判断筛选。