[发明专利]人为填写的地址文本相似度处理方法和系统

权利要求书

1.一种人为填写的地址文本相似度处理方法，其特征在于，包括：

步骤A1、获取N个待对比地址中的任意两个地址，获取每个地址中的地址常规字符并将所述地址常规字符作为断字符，以在计算地址连续性时，遇到断字符时停止累加计数，从而将每一地址分割为多个子串，以去除地址常规字符所引起的错误的相似性贡献，并且能够确保在去掉由常规字符引起错误的相似性贡献时，不会引入新的相似性贡献错误；其中所述地址常规字符包括以下的至少一种：['区','街','道','县','路','镇','乡','市',',',',']；

步骤A2、对比两个地址以获取两个地址之间所有的公共子串，其中公共子串为两个地址之间相同的字符串，其中每个相同子串应至少包括两个字符；其中获取的所有公共子串的方式采用了自改造的动态规划方法，从而使得找出多个公共子串与找出一个公共子串的时间复杂度相同；

其中，所述方法还包括：

步骤B1、利用以下公式将两个地址的相似度以增函数方式转换到[0,1]区间：

其中，|A∩B|_{con_i}为地址A与地址B的第i个连续的公共子串的长度；

分子中的(1+|A∩B|_{con_i})*|A∩B|_{con_i}/2为1到第i个连续的公共子串长度的等差数列求和，以对连续字符串进行加权以使其对相似度的影响增大。

2.根据权利要求1所述的人为填写的地址文本相似度处理方法，其特征在于，还包括：

步骤C1、计算N个待对比地址中的任意两个地址之间的相似度，并根据这些相似度获得一个三角矩阵，且所述三角矩阵的对角线全为1；

步骤C2、利用抽样数据确定相似度的阈值，以将相似度小于该阈值的两个地址确定为不同的地址，且大于等于该阈值的两个地址确定为相同的地址；

步骤C3、提取该三角矩阵的每个行向量，并将行向量中小于阈值的元素所对应的地址去掉；

步骤C4、判断两个集合之间是否有交集；如果有则将两个集合合并，所述合并后的集合中的所有地址为同一类地址；判断集合中是否还有交集，如果有则返回步骤C3，如果没有则步骤结束。

3.根据权利要求1-2任一项所述的人为填写的地址文本相似度处理方法，其特征在于，所述方法还包括：

将地址拆分为大地址和小地址，其中所述大地址为≥区级的地址；其中小地址为＜区级的地址；

将所述大地址和小地址分别进行比较；如果大地址的相似度小于大地址的阈值就直接返回0相似度，否则返回小地址的相似度。

4.一种人为填写的地址文本相似度处理系统，其特征在于，包括：相似度子系统，用于执行以下步骤：

步骤A1、获取N个待对比地址中的任意两个地址，获取每个地址中的地址常规字符并将所述地址常规字符作为断字符，以在计算地址连续性时，遇到断字符时停止累加计数，从而将每一地址分割为多个子串，以去除地址常规字符所引起的错误的相似性贡献；其中所述地址常规字符包括以下的至少一种：['区','街','道','县','路','镇','乡','市',',',',']；

步骤A2、对比两个地址以获取两个地址之间的公共子串，其中公共子串为两个地址之间相同的字符串，其中每个相同子串应至少包括两个字符；其中获取的所有公共子串的方式采用了自改造的动态规划方法，从而使得找出多个公共子串与找出一个公共子串的时间复杂度相同；

其中，所述系统还包括：相似度转换子系统；

所述相似度转换子系统用于根据以下公式将两个地址的相似度转换到[0,1]区间：

其中，|A∩B|_{con_i}为地址A与地址B的第i个连续的公共子串的长度；

分子中的(1+|A∩B|_{con_i})*|A∩B|_{con_i}/2为1到第i个连续的公共子串长度的等差数列求和，以对连续字符串进行加权以使其对相似度的影响增大。