[发明专利]人为填写的地址文本相似度处理方法和系统

摘要

本发明实施例公开了一种人为填写的地址文本相似度处理方法和系统。本发明实施例以一种合理的方式去除地址中出现的常规字符，从而去除地址常规字符所引起的错误的相似度贡献。用较低的时间复杂度计算出两个地址中所有大于两个长度的公共子串。设计出能够将公共子串长度序列映射成[0,1]空间的增函数，该函数合理的描述了由人为填写地址数据的特点。并设计了一种能够将并不相似但实际为相同地址识别出来的地址聚类算法。

主权项

1.一种人为填写的地址文本相似度处理方法，其特征在于，包括：步骤A1、获取N个待对比地址中的任意两个地址，获取该每个地址中的地址常规字符并将所述地址常规字符作为断字符，以在计算地址连续性时，遇到断字符时停止累加计数，从而将每一地址分割为多个子串，以去除地址常规字符所引起的错误的相似性贡献，并且能够确保在去掉由常规字符引起错误的相似性贡献时，不会引入新的相似性贡献错误；其中所述地址常规字符包括以下的至少一种：['区','街','道','县','路','镇','乡','市',',','，']；步骤A2、对比两个地址以获取两个地址之间所有的公共子串，其中公共子串为两个地址之间相同的字符串，其中每个相同子串应至少包括两个字符；其中获取的所有公共子串的方式采用了自改造的动态规划方法，从而使得找出多个公共子串与找出一个公共子串的时间复杂度相同。