[发明专利]一种基于中文分词的数据碰撞方法及系统

摘要

本发明公开了一种基于中文分词的数据碰撞方法及系统，属于机器学习领域，本发明要解决的技术问题为如何能够简单高效的处理自然语言文本相似性，满足大数据场景下的时效性需求，采用的技术方案为：①该方法步骤如下：S1、数据预处理，将待碰撞的数据存入内存或HDFS；S2、待碰撞的数据使用Lucene存在内存或者直接用ES存储在分布式计算引擎Spark上遍历待碰撞数据；S3、针对每一条数据，从Lucene或ES预搜索近似数据，针对每一条数据，从Lucene或ES；S4、对待碰撞的数据和搜索得到的结果进行中文分词；S5、计算相似性评分；S6、输出碰撞结果。②该系统包括，存储模块、计算模块、近似数据预搜索模块、中文分词模块、相似性评分模块及碰撞结果输出模块。

主权项

1.一种基于中文分词的数据碰撞方法，其特征在于，该方法是利用中文分词算法，把要对比的两个实体名称进行中文分词，对比两个实体名称相同的分词个数，根据分词个数计算相似度；具体步骤如下：/nS1、数据预处理，将待碰撞的数据存入内存或HDFS；/nS2、待碰撞的数据使用Lucene存在内存或者直接用ES存储在分布式计算引擎Spark上遍历待碰撞数据；/nS3、针对每一条数据，从Lucene或ES预搜索近似数据，针对每一条数据，从Lucene或ES；/nS4、对待碰撞的数据和搜索得到的结果进行中文分词；/nS5、计算相似性评分：根据配置的选项，将相似性比较算法和外部规则应用于待碰撞的数据和搜索得到的结果，排除文本中的干扰信息，计算两者的相似性，得到相似性评分；/nS6、输出碰撞结果：根据相似性评分及设置的阈值，得出最终的相似性，输出碰撞结果。/n