[发明专利]基于大数据的建筑行业信息采集系统及其方法

权利要求书

1.一种基于大数据的建筑行业信息采集系统，其特征在于：包括数据采集模块、网站调度模块和数据加工模块，所述数据采集模块与网站调度模块之间互相独立，所述网站调度模块中设有与不同网站相连接的配置接口；所述数据采集模块采用消息队列持久化技术，通过网站调度模块的接口向不同的网站请求相应的数据，再将请求到的数据存储到数据库；所述网站调度模块用于配置不同网站的参数，并发送给数据采集模块对应启动不同网站的采集任务；所述数据加工模块用于接收数据采集模块传输过来的网站原始数据，并对数据解析后写入到数据库中。

2.根据权利要求1所述基于大数据的建筑行业信息采集系统，其特征在于，所述数据加工模块中配置有与不同网站相匹配的数据解析单元和数据仓库单元。

3.根据权利要求2所述基于大数据的建筑行业信息采集系统，其特征在于，所述数据采集模块设置有数据采集日志，所述数据采集日志用于记录当发生网络异常时采集脚本请求或发送失败的异常节点数据。

4.根据权利要求3所述基于大数据的建筑行业信息采集系统，其特征在于，所述数据采集模块在网络恢复后自动对数据采集日志的异常节点数据进行重新请求和/或发送。

5.根据权利要求4所述基于大数据的建筑行业信息采集系统，其特征在于，还包括用户管理模块，所述用户管理模块用于管理用户账号、分配用户权限。

6.一种基于大数据的建筑行业信息采集方法，其特征在于：包括以下步骤：

S1、开发者登录系统，根据采集网站数据类型的不同，进行不同任务配置；

S2、根据任务启动采集数据模块，使用进程管道命令创建进程，然后将进程采集信息输出到自定义文本，完成采集；

S3、数据加工模块根据采集回来的数据，进行解析加工然后存储到数据库。

7.根据权利要求6所述的一种基于大数据的建筑行业信息采集方法，其特征在于：S1中所述任务配置的方法具体为：对于需要按日期采集的网站，配置日期参数，启动采集脚本调用对应的采集数据模块的脚本进行采集任务；对于查询采集的网站，配置对用查询的参数，调用中间件提供消息持久化，多进程采集数据。

8.根据权利要求7所述的一种基于大数据的建筑行业信息采集方法，其特征在于：S3中所述解析加工的具体方法为：对于按日期采集的数据在采集完成之后解析企业感兴趣的相关数据对应存储到数据库，并对解析失败的数据在数据展示模块进行对应的提示；对于查询采集的数据在采集完成后根据对应的公司解析相应的人员、资质、业绩和信用评价数据，对重复数据及无效数据进行深度清洗，对于公司人员信息的变更进行更新、添加和减少的操作，并记录更新状态存储到数据库。