[发明专利]一种基于大数据的政策采集、清洗及自动精准推送的方法

权利要求书

1.一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，包括以下有效步骤：

a、首先根据以往政府政策的内容提取关键词，构建关键词集，其中，所述关键词集包括主题关键词集和约束关键词集；

b、将政府的相关网站加入到初始地址URL种子集；

c、利用主题关键词集中的关键词形成主题爬虫，从初始地址URL种子集开始，分析爬行网页的主题相关度，将与主题相关的网页存储到数据库中；

d、分析数据库内网页的文本内容，根据约束关键词集内的关键词将含有关键词的句子提取出来；

e、根据约束关键词集对提取出来含有关键词的句子进行分析，获取关键约束属性集；

f、根据约束关键词集构建含有企业信息的企业推荐属性集；

g、将获取的关键约束属性集和企业推荐属性集进行一一比对，确定只有企业推荐属性集内的所有属性与关键约束属性集中的所有约束属性都匹配成功时，则将含有此关键约束属性集的网页推送给企业。

2.根据权利要求1所述的一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，所述c步骤，当网络爬虫对URL种子集内网页进行爬取时，先搜索完一个种子网页内所有连接，然后在搜索下一层所有链接，返回执行下下一层的搜索，直到最底层。

3.根据权利要求1所述的一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，所述d步骤中，包括以下有效步骤：

d1、首先选取适当的分隔符对网页的文本内容的句子分割成句子集P＝{S₁,...S_N}，其中N为句子的总数；

d2、然后将每个句子进行分词，得到当前句子的分词集Si＝{w_i1，....，w_im}，其中m为当前句子分词集的词语总数；

d3、根据公式：

Ass(k,Si)＝|wk|wk∈Siwk∈k|

其中，Ass(KW,Si)为关键词和当前句子的关联度；将含有关键词的句子提取出来。

4.根据权利要求1所述的一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，所述关键约束属性集和企业推荐属性集均包括属性名称和属性值。

5.根据权利要求1所述的一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，所述g步骤中，根据杜威十进制分类法的特征确定关键约束属性集和企业推荐属性集中企业所属的领域属性。

6.根据权利要求5所述的一种基于大数据的政策采集、清洗及自动精准推送的方法，其特征在于，根据杜威十进制分类法查找约束关键词集内以及企业推荐属性集内关键词的分类号，然后运用杜威十进制分类法的关键词号码的长度作为X轴，关键词分类号码作为Y轴，将关键约束属性集和企业推荐属性集内关键词对应的杜威十进制分类号码在二维坐标绘制相应的点，若企业推荐属性集内关键词所形成的点在关键约束属性集内关键词点的附近或重合，则判断领域属性匹配成功，若远离，则领域属性匹配不成功。