[发明专利]基于大数据的建筑行业信息采集系统及其方法

说明书

技术领域

本发明涉及信息采集技术领域，具体基于大数据的建筑行业信息采集系统及其方法。

背景技术

大数据已经成为与自然资源、人力资源同等重要的战略资源，其所隐含的巨大社会和经济价值已引起科技界和企业的高度重视。如果有效地组织和使用这些大数据将对社会和经济的发展起到巨大的推动作用。

目前建筑行业从业人员获取数据的通道主要是通过各个地区建设厅、招投标网站或者全国建筑行业的相关信息平台获取相关的信息。由于建筑行业信息数据量大，更新快等特点，相关人员需要花费大量时间精力去各个网站查找他们关心和感兴趣的内容，并且对于行业动态及公司业绩信息及证件信息也不能及时掌握。目前国内建筑行业信息采集方面缺乏一个可以完成海量数据采集的专有系统。

发明内容

针对现有技术中的缺陷，本发明提供一种基于大数据的建筑行业信息采集系统及其方法，能够改善整个建筑行业获取信息的方式并提高获取动态的效率。

本发明提供的一种基于大数据的建筑行业信息采集系统，包括数据采集模块、网站调度模块和数据加工模块，数据采集模块与网站调度模块之间互相独立，网站调度模块中设有与不同网站相连接的配置接口；数据采集模块采用消息队列持久化技术，通过网站调度模块的接口向不同的网站请求相应的数据，再将请求到的数据存储到数据库；网站调度模块用于配置不同网站的参数，并发送给数据采集模块对应启动不同网站的采集任务；数据加工模块用于接收数据采集模块传输过来的网站原始数据，并对数据解析后写入到数据库中。

进一步的，数据加工模块中配置有与不同网站相匹配的数据解析单元和数据仓库单元。

进一步的，数据采集模块设置有数据采集日志，数据采集日志用于记录当发生网络异常时采集脚本请求或发送失败的异常节点数据。

进一步的，数据采集模块在网络恢复后自动对数据采集日志的异常节点数据进行重新请求和/或发送。

进一步的，还包括用户管理模块，用户管理模块用于管理用户账号、分配用户权限。

一种基于大数据的建筑行业信息采集方法，包括以下步骤：

S1、开发者登录系统，根据采集网站数据类型的不同，进行不同任务配置；

S2、根据任务启动采集数据模块，使用进程管道命令创建进程，然后将进程采集信息输出到自定义文本，完成采集；

S3、数据加工模块根据采集回来的数据，进行解析加工然后存储到数据库。

进一步的，S1中所述任务配置的方法具体为：对于需要按日期采集的网站，配置日期参数，启动采集脚本调用对应的采集数据模块的脚本进行采集任务；对于查询采集的网站，配置对用查询的参数，调用中间件提供消息持久化，多进程采集数据。

进一步的，S3中所述解析加工的具体方法为：对于按日期采集的数据在采集完成之后解析企业感兴趣的相关数据对应存储到数据库，并对解析失败的数据在数据展示模块进行对应的提示；对于查询采集的数据在采集完成后根据对应的公司解析相应的人员、资质、业绩和信用评价数据，对重复数据及无效数据进行深度清洗，对于公司人员信息的变更进行更新、添加和减少的操作，并记录更新状态存储到数据库。

由上述技术方案可知，本发明的有益效果：

本发明提供一种基于大数据的建筑行业信息采集系统及其方法，包括数据采集模块、网站调度模块和数据加工模块，数据采集模块与网站调度模块之间互相独立，网站调度模块中设有与不同网站相连接的配置接口；数据采集模块采用消息队列持久化技术，通过网站调度模块的接口向不同的网站请求相应的数据，再将请求到的数据存储到数据库；网站调度模块用于配置不同网站的参数，并发送给数据采集模块对应启动不同网站的采集任务；数据加工模块用于接收数据采集模块传输过来的网站原始数据，并对数据解析后写入到数据库中。对建筑行业离散的数据进行整合，提取相关信息进行加工分析，使从业人员仅仅通过相关的数据的搜索就能够获取所感兴趣的行业动态及各类建筑信息。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明一种基于大数据的建筑行业信息采集的流程示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。