[发明专利]一种面向建筑施工企业的大数据采集方法和系统

摘要

本发明公开了一种面向建筑施工企业的大数据采集方法和系统，用于提供适用于建筑施工行业的大数据采集机制，实现对建筑施工企业的网页资源采集。本发明实施例中可以抓取建筑施工企业的相关信息，每一家建筑施工企业可以抓取如下的6个数据项，分别为：公司简介、中标信息、经营信息、荣誉信息、资质等级、建造师信息，且每个数据项都采用独立的爬虫程序，因此各个数据项可以实现并行爬取，通过建筑施工企业的URL地址和企业名称可以抓取每个数据项的子URL地址，因此本发明实施例中采用的是广度优先的搜索策略，可针对建筑施工企业进行本行业内的网页资源爬取，提升了爬取建筑施工企业的网页资源的速度。

主权项

一种面向建筑施工企业的大数据采集方法，其特征在于，包括：步骤一、按照建筑施工企业所在的层级区域位置关系依次获取多个建筑施工企业各自的统一资源定位符URL地址以及对应的企业名称；步骤二、将所述多个建筑施工企业各自的URL地址保存到URL文本文件中，将所述多个建筑施工企业各自的企业名称保存到名称文本文件中；步骤三、从所述URL文本文件中读取到第一建筑施工企业的URL地址，以及从所述名称文本文件中读取到所述第一建筑施工企业的企业名称，其中，所述第一建筑施工企业为所述多个建筑施工企业中的任意一个建筑施工企业；在所述步骤三执行完成后，分别执行步骤四和步骤九；步骤四、根据所述第一建筑施工企业的URL地址分别获取到所述第一建筑施工企业的公司简介数据项的子URL地址、荣誉信息数据项的子URL地址、中标信息数据项的子URL地址、经营信息数据项的子URL地址；在所述步骤四执行完成后，分别执行如下步骤五、步骤六、步骤七、步骤八；步骤五、使用第一爬虫程序根据所述公司简介数据项的子URL地址获取到所述公司简介数据项对应的内容网页，并解析所述公司简介数据项对应的内容网页得到所述第一建筑施工企业的公司简介信息，将所述公司简介信息存储到建筑施工企业信息数据库中；以及，步骤六、使用第二爬虫程序根据所述荣誉信息数据项的子URL地址获取到所述荣誉信息数据项对应的内容网页，并解析所述荣誉信息数据项对应的内容网页得到所述第一建筑施工企业的荣誉信息，将所述荣誉信息存储到所述建筑施工企业信息数据库中；以及，步骤七、使用第三爬虫程序根据所述中标信息数据项的子URL地址获取到所述中标信息数据项对应的内容网页，并解析所述中标信息数据项对应的内容网页得到所述第一建筑施工企业的中标信息，将所述中标信息存储到所述建筑施工企业信息数据库中；以及，步骤八、使用第四爬虫程序根据所述经营信息数据项的子URL地址获取到所述经营信息数据项对应的内容网页，并解析所述经营信息数据项对应的内容网页得到所述第一建筑施工企业的经营信息，将所述经营信息存储到所述建筑施工企业信息数据库中；步骤九、根据所述第一建筑施工企业的企业名称从建筑市场监管与诚信发布平台上获取到所述第一建筑施工企业的资质等级数据项的子URL地址和建造师信息数据项的子URL地址；在所述步骤九执行完成后，分别执行如下步骤十、步骤十一；步骤十、使用第五爬虫程序根据所述资质等级数据项的子URL地址获取到所述资质等级数据项对应的内容网页，并解析所述资质等级数据项对应的内容网页得到所述第一建筑施工企业的资质等级信息，将所述资质等级信息存储到所述建筑施工企业信息数据库中；以及，步骤十一、使用第六爬虫程序根据所述建造师信息数据项的子URL地址获取到所述建造师信息数据项对应的内容网页，并解析所述建造师信息数据项对应的内容网页得到所述第一建筑施工企业的建造师信息，将所述建造师信息存储到所述建筑施工企业信息数据库中。