[发明专利]基于数据重复度的意见线索智能归集方法及系统

权利要求书

1.一种基于数据重复度的意见线索智能归集方法，其特征在于，该方法具体如下：

获取意见线索数据中判断重复率的关键指标，并对关键指标进行预处理；

使用Levenshtein Distance算法计算关键指标的重复率；

将归集为一类的意见线索数据进行批量处理。

2.根据权利要求1所述的基于数据重复度的意见线索智能归集方法，其特征在于，关键指标包括意见线索对象、意见线索内容、意见线索属地及意见线索时间。

3.根据权利要求2所述的基于数据重复度的意见线索智能归集方法，其特征在于，对关键指标进行预处理具体如下：

对意见线索内容进行分词处理。

4.根据权利要求1所述的基于数据重复度的意见线索智能归集方法，其特征在于，使用Levenshtein Distance算法计算关键指标的重复率具体如下：

使用Levenshtein Distance算法分别计算任一意见线索数据中关键指标与其余意见线索数据中对应的同一关键指标的编辑距离；

将关键指标的字符串长度减去计算出的关键指标的编辑距离后，在除以关键指标的字符串长度计算出关键指标的重复率；

根据关键指标的重复率归类意见线索。

5.根据权利要求4所述的基于数据重复度的意见线索智能归集方法，其特征在于，根据关键指标的重复率归类意见线索的情况如下：

①、将意见线索中至少两个关键指标重复率高于70％的意见线索归类为极相似意见线索；

②、将意见线索中至少两个关键指标重复率高于50％且低于70％的意见线索归类为相似意见线索。

6.根据权利要求4所述的基于数据重复度的意见线索智能归集方法，其特征在于，使用Levenshtein Distance算法分别计算任一意见线索数据中关键指标与其余意见线索数据中对应的同一关键指标的编辑距离具体如下：

设意见线索A的意见线索对象字符串长度为m，意见线索B的意见线索对象字符串长度为n,根据意见线索A和意见线索B建立一个(m+1)X(n+1)的数组；其中，(m+1)为行，(n+1)为列，(m+1)X(n+1)的数组用于保存完成字符串转换所需最少步数；

设将意见线索A的意见线索字符串x[1..m]转换到意见线索B的意见线索字符串y[1…n]需要的最少步数为levenST[m][n]的值；

将levenST第0行初始化为0到n，第0列初始化为0到m；

字符串x和字符串y的每一个字符两两进行比较，两两比较时，从levenST[i-1][j]+1、levenST[i][j-1]+1、levenST[i-1][j-1]+eq中取最小值即为levenST[i][j]的值，具体为：

若x[i]和y[j]相等，则eq＝0；

若x[i]和y[j]不相等，则eq＝1；

将字符串x和字符串y中所有字母都遍历对比完成后，将字符串x转换为字符串y所需最少步骤数为levenST[m][n]，即为编辑距离。

7.根据权利要求1所述的基于数据重复度的意见线索智能归集方法，其特征在于，将归集为一类的意见线索数据进行批量处理具体如下：

处理意见线索数据时，查找是否有极相似及相似意见线索数据：

若有，则查看极相似及相似意见线索数据的详情，并从极相似及相似线索数据中选择属性相同的意见线索事件的数据进行批量处理。

8.一种基于数据重复度的意见线索智能归集系统，其特征在于，该系统包括，

获取模块，用于获取意见线索数据中判断重复率的关键指标，并对关键指标进行预处理；其中，关键指标包括意见线索对象、意见线索内容、意见线索属地及意见线索时间；

计算模块，用于使用Levenshtein Distance算法计算关键指标的重复率；

处理模块，用于将归集为一类的意见线索数据进行批量处理。