[发明专利]基于核心词相似度判断企业中文名称重复的方法

权利要求书

1.一种基于核心词相似度判断企业中文名称重复的方法，包括以下步骤：

步骤一：通过ETL,把B2B电子商务平台数据库中的企业中文名称，加载到企业名称数据集市中；

步骤二：对数据集市中保存的企业中文名称进行预处理；

步骤三：在企业名称数据集市中，对于每个企业中文名称，与中国地域名称库进行比对，去掉名称中包含的地域特征的关键词；然后在该数据集市中增加1列，用于保存去掉地域特征关键词的企业中文名称；其中，中国地域名称库保存了国内所有地域的名称；

步骤四：对于B2B电子商务平台中不断新增的企业中文名称，通过ETL加载到数据集市中，通过企业中文名称核心词提取方法来提取这些新增企业中文名称的核心词；

步骤五：取出每一个新增的企业中文名称的核心词，与企业名称数据集市中保存的去掉地域特征关键词的企业中文名称，两者进行匹配，在数据集市中，得到所有包含核心词的企业中文名称集；

步骤六：对于每一个新增的中文公司名称，根据其包含的核心词所对应的企业中文名称集，从而找到对应的未去除名称地域关键词的企业中文名称，通过增加词语重要程度因素的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度；

步骤七：根据业务需求提取相似度高的名称，帮助审核人员快速、准确判断企业中文名称的重复情况，对于相似度低的企业中文名称，加入到企业名称数据集市。

2.根据权利要求1所述的方法，其特征在于，步骤二中，所述对数据集市中保存的企业中文名称进行预处理，具体为：

（1）对每个企业中文名称，指针从首字开始，以2个字一组取1个词，然后指针每次向右移动一个字，继续以2个字一组取1个词，该企业中文名称取词结束后，对下一个企业中文名称进行取词；如此循环处理，直到所有企业中文名称取词结束，从而得到一系列2个字组成的词；

（2）对每个企业中文名称，指针从首字开始，以3个字一组取词，然后指针每次向右移动一个字，继续以3个字一组取词，该企业中文名称取词结束后，对下一个企业中文名称进行取词；如此循环处理，直到所有企业中文名称取词结束，从而得到一系列3个字组成的词；

（3）通过统计方法，计算所有的分词出现频率的大小，把频率高的分词挑选出来，保存在常见词库中。

3.根据权利要求1所述的方法，其特征在于，步骤四中，所述企业中文名称核心词提取方法，具体为：

步骤1：对于B2B电子商务平台新增的每个企业中文名称，从常见词库中依次取出常见词，从企业中文名称的左边开始，与常见词进相匹配，如果匹配成功，从企业中文名称中去掉包含的常见词，然后重新进行步骤1；如果匹配不成功，进行步骤2；

步骤2：从这个企业中文名称中，从右边减少一个字，然后继续与常见词库中的常见词进行匹配，匹配不成功，继续重复步骤2，直到企业中文名称中最后一个字为止；

步骤3：将步骤2的最后一个字保存起来，然后从企业中文名称去掉这个字，重新开始匹配，如果匹配不成功，进行步骤2，直到剩下最后一个字为止，把这个字与先前保存的字按先后顺序连接起来，保存，然后从企业中文名称去掉这个字，如果匹配成功，进行步骤4；

步骤4：通过以上步骤处理后，保存下来的词作为企业中文名称的核心词；

步骤5：通过上述步骤，对某个企业中文名称处理结束后，将得到步骤4保存的所有核心词。

4.根据权利要求3所述的方法，其特征在于，对核心词分四种情况构成最终核心词：

●核心词是由两个字组成，就加上企业中文名称右边最近的一个匹配词，共同组成这个企业中文名称的最终核心词；

●核心词是三个或者四个字组成，就保持不变，直接作为最终核心词；

●核心词大于四个字，就截取前四个字作为最终核心词；

●所获取的核心词为空值，就取整个企业中文名称作为最终核心词。