[发明专利]一种针对企业官网的数据清洗、整合方法及系统

说明书

技术领域

本发明涉及互联网数据处理技术领域，特别涉及一种针对企业官网的数据清洗、整合方法及系统。

背景技术

现有的企业信息综合网站，大都是对企业信息的简单罗列，并且是主要针对单一企业的信息汇总和分析。现有技术的缺点是存在缺少一种对企业之间的相互关系进行分析的方式。其中，如何根据用户的关键词在海量数据中进行搜素，并从中筛选企业官网，对数据进行结构化处理，是当前需要解决的技术问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种针对企业官网的数据清洗、整合方法及系统。

为了实现上述目的，本发明的实施例提供一种针对企业官网的数据清洗、整合方法，包括如下步骤：

步骤S1，获取用户输入的企业名称，根据所述企业名称调用搜索引擎进行搜索，收集多条记录，并取得返回的网址链接页面；

步骤S2，对返回的网址链接页面进行分析，并根据该网页符合的条件对其进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；

步骤S3，计算所述步骤S2中的多个文本中重复出现的词汇频率，并与预先搜集的语料库的词汇进行比较，提取出在给定文本中出现频率高且在所述语料库中出现频率低的词汇，将该词汇作为公司关键词；

步骤S4，根据所述公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。

进一步，在所述步骤S2中，所述根据该网页符合的条件对其进行评分，包括如下步骤：

1)页面中存在被HTML标签包围、并且有超链接的词汇“关于我们”，则对该网页加分；

2)如果存在“联系我们”则加分；

3)如果存在“公司介绍”或“公司简介”则加分；

4)如果存在“产品介绍”或“产品简介”加分。

进一步，所述对该搜索结果进行趋势分析，包括如下步骤：

根据搜索结果判断，在预设时段内，对企业关键词的搜索趋势递减，则判断该公司技术成熟度设定为趋向成熟；

在预设时段内，对企业关键词的搜索趋势递增或平衡，则判断该公司技术成熟度设定为尚在研究。

本发明的实施例还提出一种针对企业官网的数据清洗、整合系统，包括：企业名称搜索模块、网页分析及评分模块、关键词生成模块和趋势判定模块，其中，

所述企业名称搜索模块用于获取用户输入的企业名称，根据所述企业名称调用搜索引擎进行搜索，收集多条记录，并取得返回的网址链接页面；

所述网页分析及评分模块用于对返回的网址链接页面进行分析，并根据该网页符合的条件对其进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；

所述关键词生成模块用于计算多个文本中重复出现的词汇频率，并与预先搜集的语料库的词汇进行比较，提取出在给定文本中出现频率高且在所述语料库中出现频率低的词汇，将该词汇作为公司关键词；

所述趋势判定模块用于据所述公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。

进一步，所述网页分析及评分模块根据该网页符合的条件对其进行评分，包括：

1)页面中存在被HTML标签包围、并且有超链接的词汇“关于我们”，则对该网页加分；

2)如果存在“联系我们”则加分；

3)如果存在“公司介绍”或“公司简介”则加分；

4)如果存在“产品介绍”或“产品简介”加分。

进一步，所述趋势判定模块对该搜索结果进行趋势分析，包括如下步骤：

根据搜索结果判断，在预设时段内，对企业关键词的搜索趋势递减，则判断该公司技术成熟度设定为趋向成熟；

在预设时段内，对企业关键词的搜索趋势递增或平衡，则判断该公司技术成熟度设定为尚在研究。

根据本发明实施例的针对企业官网的数据清洗、整合方法及系统，根据用户输入的企业名称，对其搜索收集相关记录，并对相关的网页进行分析以获取其中的企业官网并进行评分，并生成公司关键词，对该关键词的搜索趋势进行分析，以实现对企业评定。本发明可以根据给定的企业名称通过对互联网上的信息进行搜索和加工，取得与该企业有关的信息并进行初步结构化。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。