[发明专利]一种钢铁资源数据信息的整合方法及系统

说明书

本发明公开了一种钢铁资源数据信息的整合方法及系统，方法包括如下过程：S1、通过Webservice网络技术和数据接口的方式对接钢铁资源数据平台；S2、获取钢铁资源数据平台的原始钢铁资源数据；S3、将获取的原始钢铁资源数据存储在本地MySQL数据库中；S4、调用MySQL数据库中的原始钢铁资源数据，本地定时执行预装的过滤筛选应用程序，该应用程序根据钢铁行业规则和规范，对调用的原始钢铁资源数据进行过滤筛选；S5、将筛选后的原始钢铁资源数据存储在本地SQL数据库中。系统包括数据通信模块、数据获取模块、第一数据储存模块、过滤筛选模块和第二数据储存模块。本发明可及时有效的获得齐全、优质、性价比高的钢铁资源数据，易于实现对资源、订单的综合优化管理。

技术领域

本发明属于数据平台技术领域，尤其涉及一种钢铁资源数据信息的整合方法及系统。

背景技术

目前已有多个钢材电子商务网站，每家网站都有各自的钢贸商、现货商。根据地域每家网站都有自己独特的钢材资源，现阶段要找全，找齐钢材需要到各个网站找，这样降低了工作效率，增加了成本，不易实现对资源、订单的优化管理。

发明内容

基于此，针对上述问题，本发明提供一种钢铁资源数据信息的整合方法及系统，利用Webservice网络技术和数据接口的方式对接各钢铁资源数据平台，利用网页爬虫软件收集、解析原始资源数据，之后对原始资源数据进行过滤筛选得到优质钢铁资源数据并保存，数据覆盖面广，信息更新及时有效，易于实现对资源、订单的综合优化管理。

本发明的技术方案是：一种钢铁资源数据信息的整合方法，包括如下过程：

S1、通过Webservice网络技术和数据接口的方式对接网络中各个钢铁资源数据平台；

S2、利用预装网页爬虫软件，获取网络中各个钢铁资源数据平台的原始钢铁资源数据；

S3、将获取的原始钢铁资源数据存储在本地MySQL数据库中；

S4、调用MySQL数据库中的原始钢铁资源数据，本地定时执行预装的过滤筛选应用程序，该应用程序根据钢铁行业规则和规范，对调用的原始钢铁资源数据进行过滤筛选；

S5、将筛选后的原始钢铁资源数据存储在本地SQL数据库中。

作为本发明的进一步改进，步骤S2中利用预装网页爬虫软件，获取网络中各个钢铁资源数据平台的原始钢铁资源数据具体指：根据各个钢铁资源数据平台的网站结构，使用html解析技术结合正则表达式，并根据钢材特性分解原始钢铁资源数据。

作为本发明的进一步改进，步骤S2中的预装网页爬虫软件通过多线程的方式，部署到多台服务器，使用分布式方式获取、解析原始钢铁资源数据。

为解决技术问题，本发明还提供一种钢铁资源数据信息的整合系统，包括：

数据通信模块，用于通过Webservice网络技术和数据接口的方式对接网络中各个钢铁资源数据平台；

数据获取模块，用于利用预装网页爬虫软件，获取网络中各个钢铁资源数据平台的原始钢铁资源数据；

第一数据储存模块，用于将获取的原始钢铁资源数据存储在本地MySQL数据库中；

过滤筛选模块，用于调用MySQL数据库中的原始钢铁资源数据，并本地定时执行预装的过滤筛选应用程序，该应用程序根据钢铁行业规则和规范，对调用的原始钢铁资源数据进行过滤筛选；

第二数据储存模块，将筛选后的原始钢铁资源数据存储在本地SQL数据库中。

作为本发明的进一步改进，数据获取模块利用预装网页爬虫软件，获取网络中各个钢铁资源数据平台的原始钢铁资源数据具体指：根据各个钢铁资源数据平台的网站结构，使用html解析技术结合正则表达式，并根据钢材特性分解原始钢铁资源数据。