[发明专利]基于大数据的建筑行业信息采集系统及其方法

摘要

本发明提供的一种基于大数据的建筑行业信息采集系统及方法包括数据采集模块、网站调度模块和数据加工模块，网站调度模块中设有与不同网站相连接的配置接口；数据采集模块采用消息队列持久化技术，通过网站调度模块的接口向不同的网站请求相应的数据，再将请求到的数据存储到数据库；网站调度模块用于配置不同网站的参数，并发送给数据采集模块对应启动不同网站的采集任务；数据加工模块用于接收数据采集模块传输过来的网站原始数据，并对数据解析后写入到数据库中。基于大数据的建筑行业信息采集系统对建筑行业离散的数据进行整合，提取相关信息进行加工分析，使从业人员仅仅通过相关的数据的搜索就能够获取所感兴趣的行业动态及各类建筑信息。

主权项

一种基于大数据的建筑行业信息采集系统，其特征在于：包括数据采集模块、网站调度模块和数据加工模块，所述数据采集模块与网站调度模块之间互相独立，所述网站调度模块中设有与不同网站相连接的配置接口；所述数据采集模块采用消息队列持久化技术，通过网站调度模块的接口向不同的网站请求相应的数据，再将请求到的数据存储到数据库；所述网站调度模块用于配置不同网站的参数，并发送给数据采集模块对应启动不同网站的采集任务；所述数据加工模块用于接收数据采集模块传输过来的网站原始数据，并对数据解析后写入到数据库中。