[发明专利]人为填写的地址文本相似度处理方法和系统

说明书

本发明实施例公开了一种人为填写的地址文本相似度处理方法和系统。本发明实施例以一种合理的方式去除地址中出现的常规字符，从而去除地址常规字符所引起的错误的相似度贡献。用较低的时间复杂度计算出两个地址中所有大于两个长度的公共子串。设计出能够将公共子串长度序列映射成[0,1]空间的增函数，该函数合理的描述了由人为填写地址数据的特点。并设计了一种能够将并不相似但实际为相同地址识别出来的地址聚类算法。

技术领域

本发明涉及电子技术领域，特别是一种人为填写的地址文本相似度处理方法和系统。

背景技术

地址是用于邮寄各种物品必不可少的环节，随着快递业和电商的发展，现在社会通过邮寄的方式输送的各种文件和商品已经成为了人们生活中不可或缺的一部分。同时地址不仅仅是邮寄各种物品的重要环节，还在进行用户画像时具有非常重要的意义。在进行用户画像时，地址数据以及地址周边环境数据的重要程度非常高。在贷款前审批、贷款后失联修复、反欺诈等领域，地址数据在进行统计建模或数据挖掘过程中都起到非常重要的作用。

在电子化填写地址时，可以通过地址数据匹配的方式引导使用者完善地址数据。但是在手填地址时，由于人工填写具有很大的随意性，很容易导致地址缺失或错误。由于地址填写是给快递员看的，这就给用户填写地址时带来很大的随意性。这种随意性人类很容易辨别，但是计算机却无能为力；而如何能够使得计算机在海量数据中识别非格式化的地址并进行后续的相应操作一直是数据处理、数据挖掘领域的关注要点。对于计算机来说地址就是一串字符串，而确定不同字符串之间的相似度以进行地址相似度度量是非常重要的环节。现有的方法主要包括：

1、夹角余弦法：

该方法是将两个地址的文字以向量化表示，然后根据两个向量之间的夹角余弦值来确定两个向量之间的相似度，以此作为两个地址之间的相似度。

例如以下的三组地址：

北京市，朝阳区，西大望路，麦当劳

北京市，朝阳区，望和桥西，麦当劳

北京市，朝阳区，西大望路，地铁旁麦当劳；

以下面的一组地址为例，这三个地址拆分后可用于对比的有效字段仅为：

西大望路麦当劳

望和桥西麦当劳

西大望路地铁旁麦当劳；

(1)此时先计算“西大望路麦当劳”和“望和桥西麦当劳”的夹角余弦：

按照字典序对两个地址中所有的汉字进行排列：[大，当，和，劳，路，麦，桥，望，西]；

计算两个地址的向量分别为和

通过以下的公式计算两个向量之间的夹角余弦：

(2)然后计算“西大望路麦当劳”和“西大望路地铁旁麦当劳”的夹角余弦：采用与前面的(1)相同的方法可以计算出这两个地址之间的夹角余弦为cosθ＝0.6。

但是这种方案的缺点非常明显：

对于人类来说可以很快知道“西大望路麦当劳”和“望和桥西麦当劳”不可能是同一个地址，而“西大望路麦当劳”和“西大望路地铁旁麦当劳”则有很大概率是同一个地址。但是利用夹角余弦法计算出的前者的相似度还要高于后者的相似度11％以上；因此可以看出夹角余弦法无法像人类一样来处理相似的地址。这是由于夹角余弦法只考虑了相同的字符，但是没有考虑相同字符的连续性。西大望路与望和桥西，二者公共部分都有西，望二字，但是由于西，望二字没有靠在一起，所以这两个字对相似度没有任何贡献。夹角余弦法不能表达字符之间是否连续的这个特征。

2、编辑距离法：