[发明专利]一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置

权利要求书

1.一种基于Spark-Streaming的文本相似性分析的数据处理方法，其特征在于，所述方法包括：

根据Spark-Streaming动态获得实时文本数据库；

根据所述实时文本数据库，获得第一文本信息，所述第一文本信息包括第一文本长度信息、第一文本词序信息、第一文本关键词信息、第一文本语法信息；

根据所述实时文本数据库，获得第二文本信息，所述第二文本信息包括第二文本长度信息、第二文本词序信息、第二文本关键词信息、第二文本语法信息；

根据所述第一文本长度信息、所述第二文本长度信息，获得文本长度相似性信息；

根据所述第一文本词序信息、所述第二文本词序信息，获得文本词序相似性信息；

根据所述第一文本关键词信息、所述第二文本关键词信息，获得文本关键词相似性信息；

根据所述第一文本语法信息、所述第二文本语法信息，获得文本语法相似性信息；

根据所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息，确定所述第一文本信息与所述第二文本信息的语句相似度。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一文本关键词信息、所述第二文本关键词信息，获得文本关键词相似性信息，具体包括：

根据所述第一文本信息，获得第一词语集合；

根据所述第二文本信息，获得第二词语集合；

根据所述第一词语集合、所述第二词语集合，获得公共词信息；

根据所述第一词语集合，获得第一权重值信息；

根据所述第二词语集合，获得第二权重值信息；

根据所述公共词信息、所述第一权重值信息、所述第二权重值信息，获得公共词权重值信息；

根据所述公共词信息、所述公共词权重值信息，获得所述文本关键词相似性信息。

3.如权利要求2所述的方法，其特征在于，在根据所述第一文本信息，获得第一词语集合；根据所述第一文本信息，获得第一词语集合之前，所述方法还包括：

如果所述第一文本信息和/或所述第二文本信息为长文本信息，

根据所述第一文本信息，提取第一摘要信息；

和/或根据所述第二文本信息，提取第二摘要信息；

根据所述第一摘要信息，获得第一语句信息；

根据所述第二摘要信息，获得第二语句信息。

4.如权利要求1所述的方法，其特征在于，所述根据所述第一文本语法信息、所述第二文本语法信息，获得文本语法相似性信息，具体包括：

根据所述第一文本语法信息，获得所述第一文本语法结构信息；

将所述第一文本语法结构信息进行归类，获得第一文本语法结构类型信息；

根据所述第二文本语法信息，获得所述第二文本语法结构信息；

将所述第二文本语法结构信息进行归类，获得第二文本语法结构类型信息；

比较所述第一文本语法结构类型信息与第二文本语法结构类型信息，获得相同语法结构类型信息；

根据所述第一文本语法结构类型信息、所述第二文本语法结构类型信息、所述相同语法结构类型信息，获得文本语法相似性信息。

5.如权利要求1所述的方法，其特征在于，所述根据所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息，确定所述第一文本信息与所述第二文本信息的语句相似度，具体包括：

根据所述文本长度相似性信息，获得文本长度相似权重参数；

根据所述文本词序相似性信息，获得文本词序相似权重参数；

根据所述文本关键词相似性信息，获得文本关键词相似权重参数；

根据所述文本语法相似性信息，获得文本语法相似权重参数；

根据所述文本长度相似权重参数、所述文本词序相似权重参数、所述文本关键词相似权重参数、所述文本语法相似权重参数、所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息，确定所述第一文本信息与所述第二文本信息的语句相似度。