[发明专利]一种模拟人工方式自动获取数据的系统及方法

说明书

本发明提出的一种模拟人工方式自动获取数据的系统及方法，包括：基于预设脚本语言的自动登录模块、自动下载报表模块、自动上传数据模块、日期配置文件处理模块和文件格式处理模块。本发明实现了对数据管理系统报表的自动登录、下载、处理并上传数据，简化了操作流程，提前了数据更新时间，提高了效率；对于之前现场人工操作，更是节约了成本。

技术领域

本发明涉及计算机技术领域，更具体的说是涉及一种模拟人工方式自动获取数据的系统及方法。

背景技术

数据管理是指人们对数据进行收集、组织、存储、加工、传播和利用的一系列活动的总和，当今，计算机性能得到提高，更重要的是出现了大容量磁盘，存储容量大大增加且价格下降。在此基础上，有可能克服文件系统管理数据的不足，而去满足和解决实际应用中多个用户、多个应用程序共享数据的要求，从而使数据能为尽可能多的应用程序服务，这就出现了各种数据管理系统。

但是，当前各类数据管理系统均存在操作繁琐的问题。比如国家体彩二代数据管理系统，由于报表使用的增多，下载报表需要手动登录系统，找到报表输入条件后查询、下载，并且需要处理数据后手动上传，操作相对复杂，而且不能保证数据更新的准确性、及时性。因此开发人员和现场维护人员迫切需要一个模拟人工方式自动获取数据的工具，以代替人工操作。

发明内容

针对以上问题，本发明的目的在于提供一种模拟人工方式自动获取数据的系统及方法，实现了对数据管理系统报表的自动登录、下载、处理并上传数据，简化了操作流程，提前了数据更新时间，提高了效率；对于之前现场人工操作，更是节约了成本。

本发明为实现上述目的，通过以下技术方案实现：一种模拟人工方式自动获取数据的系统，包括：基于预设脚本语言的自动登录模块、自动下载报表模块、自动上传数据模块、日期配置文件处理模块和文件格式处理模块；

所述自动登录模块，用于控制IE浏览器，使IE浏览器访问特定地址，在网络环境验证成功，登录页面加载完成后，在登录页面指定输入框输入密码登录；

所述自动下载报表模块，用于运用预设脚本语言登录到数据管理系统后，读取报表日期并结合日期配置文件模块判断是否开始下载报表，确定后对多个报表进行变量赋值、查询下载操作；

所述自动上传数据模块，用于运用预设脚本语言下载完成报表后，结合日期配置文件模块判断是否开始上传数据，确定后批量上传已经下载的数据；

所述日期配置文件处理模块，用于记录、判断是否开始进行下载操作的控制文件；

所述文件格式处理模块，用于运用预设脚本语言第三方库文件pandas，将所有文件统一转换为csv格式。

进一步，所述自动登录模块包括用于登陆数据管理系统的登录函数和中断退出函数，所述登录函数和中断退出函数均运用预设脚本语言的第三方库文件selenium编写。

进一步，所述自动下载报表模块包括元素查找函数、条件输入函数、点击等待函数、数据拼接函数和下载文件函数；

所述元素查找函数用于查找所在页面的特定元素，确保在页面加载完成后找到所述特定元素，并进行后续操作；

所述条件输入函数用于对报表的筛选条件进行修改，所述筛选条件包括日期、类型；

所述点击等待函数，用于在点击或执行操作之前强制等待预设时间；

所述数据拼接函数，用于将关联数据拼接到一起，然后创建并写入到csv文件中；

所述下载文件函数，用于在数据加载完成后，判断页面提供的下载格式，并按照指定顺序选取最优格式；若没有指定格式，则通过文件格式处理模块的文件格式转换函数进行格式转换。

进一步，所述自动上传数据模块包括上传判断函数、连接数据库函数、查找文件函数、上传文件函数；