[发明专利]企业质量信用数据获取方法和系统

权利要求书

1.一种企业质量信用数据获取方法，其特征在于，包括：

S1、对与企业质量信用相关的数据进行预处理，得到语料数据；

S2、对所述语料数据进行知识挖掘，得到模板数据；以及

S3、从所述语料数据中提取与所述模板数据对应的关键数据，作为企业质量信用数据。

2.如权利要求1所述的企业质量信用数据获取方法，其特征在于，所述步骤S1具体包括：

S1.1、从网络资源中获取各技术领域中与企业质量信用相关的数据；

S1.2、抓取所述数据中的文档转换为xml格式文档；以及

S1.3、对所述xml格式文档进行去噪，获得所述语料数据。

3.如权利要求2所述的企业质量信用数据获取方法，其特征在于，所述步骤S1.1具体包括：

S1.1.1、基于爬虫框架，根据设定的种子请求一个页面，并将有效的URL添加到队列中等候处理；

S1.1.2、提取队列中等候的第一个链接对其进行页面解析，并根据user-defined-extractor自定义的抽取器提取出有效的文本信息，以镜像存储结构存储到本地；以及

S1.1.3、将页面中有效的URL再次加入队列等候处理，如此不断地分析下去，直到最后一个链接无任何有效链接为止，完成一次任务的抓取，如此不断循环往复，直至抓取完所需的预定网上资源。

4.如权利要求2所述的企业质量信用数据获取方法，其特征在于，所述步骤S1.2中的文档为pdf文档、doc文档、ppt文档、html文档、excel文档以及txt文档中的一种或多种。

5.如权利要求4所述的企业质量信用数据获取方法，其特征在于，所述步骤S2具体包括：

S2.1、将所述语料数据中的句子分解为多个单词，并对所述单词进行词性批注；

S2.2、基于所述单词以及词性批注获取每个句子中单词间的语法修饰关系，对满足独立句子结构且符合名词与名词搭配、形容词与名词搭配、形容词与两个名词搭配、动词与名词搭配、名词与动词搭配、三个名词搭配、动词与两个名词搭配、形容词与动词和名词搭配以及名词与动词和名词搭配的词组作为备选组合；

S2.3、统计所有单词和备选组合在各技术领域出现的频率和在所有技术领域出现的总频率，并转化为每个单词或备选组合的每百万字节中的标准频率和总标准频率；

S2.4、基于所述标准频率和总标准频率，对所有单词或备选组合进行分类，分类项中至少包括领域单词和领域组合；以及

S2.5、基于语句中领域单词和/或领域组合间的语法关系和继承关系，从所述语料数据中获得所述模板数据。

6.如权利要求5所述的企业质量信用数据获取方法，其特征在于，所述步骤S2.4至少包括：

当某单词的总标准频率高于一定值F_max，且在总标准频率中标准频率的分布较为均匀，标准差S小于S_min，则认定该单词为常用词；

当某单词的总标准频率高于F_min，且在总标准频率中，集中分布于个别领域，则认定词为该个别领域的所述领域单词；或

当某备选组合不含有常用词，且该备选组合在语料数据中出现的总标准频率大于F_max，且在总标准频率中，主要集中分布于个别领域，则认定该备选组合为该个别领域的所述领域组合。

7.如权利要求5所述的企业质量信用数据获取方法，其特征在于，所述步骤S3具体包括：

S3.1、基于正则表达式遍历所述语料数据，获得含有所述模板数据中继承关系的句子，并映射到所述模板数据中的基础关系概念对；

S3.2、对所述步骤S3.1获得的每一个句子进行分词并抽取在语料数据中经常出现的单词、备选组合和表达方式，计算每种表达方式在所有语句中所占比率，选取比率大于一定值F的表达方式，作为备选句；

S3.3、返回语料数据验证所述备选句用于表达继承关系的句子所占概率，若概率超过阈值，则认定该备选句为可作为企业质量信用数据的所述关键数据；以及

S3.4、集合所有所述关键数据作为企业质量信用数据。