[发明专利]一种基于地址分词的地址存储方法、装置及计算机设备

说明书

本发明涉及一种基于地址分词的地址存储方法、装置及计算机设备，该方法包括：根据条件随机场CRF对每个地址进行首次切分，得到每个所述地址的第一地址名；其中，所述地址为地理位置的地址；顺序逐个读取每个地址的第一地址名，依次与标准地址树中的节点中的地址名进行比较；通过有限状态机进行标注并筛选；采用筛选后的第二地址名进行余弦相似度匹配；如果读取的当前第一地址名与当前节点的地址名相同，则将该读取的第一地址名、以及后续的第二地址名，与预先存储的地址进行余弦相似度匹配；如果匹配相同，则与预先存储的地址存储在一个集合中。经过本系统的优化后，地址存储查询效率有了显著地提高。

技术领域

本发明涉及中文地址分词技术领域，尤其涉及一种基于地址分词的地址存储方法、装置及计算机设备。

背景技术

中文地址分词技术在很多场景都起着关键性的作用，目前中文地址分词的一个关键性的问题是如何使得地址高效而准确的切分，中文地址具有独特的分词特征，与普通的中文文本相比，分词的难度更高。同时，当获得一个新地址，如何高效的从现有地址数据中找到最相似的地址也是一个难点。

发明内容

本发明针对目前中文地址难以高效而准确的进行切分，分词难度高的技术问题，提供了一种高效的地址分词存储方法，经过本方法的优化后，地址查询效率有了显著地提高。

第一方面，本发明提供了一种基于地址分词的地址存储方法，所述方法包括：

根据条件随机场CRF对每个地址进行首次切分，得到每个所述地址的第一地址名；其中，所述地址为地理位置的地址；

顺序逐个读取每个地址的第一地址名，依次与标准地址树中的节点中的地址名进行比较；

根据条件随机场CRF对每个地址进行再次切分，得到每个所述地址的第二地址名，通过有限状态机进行标注并筛选；采用筛选后的第二地址名进行余弦相似度匹配；

如果读取的当前第一地址名与当前节点的地址名相同，则将该读取的第一地址名、以及后续的第二地址名，与预先存储的地址进行余弦相似度匹配；

如果匹配相同，则与预先存储的地址存储在一个集合中。

进一步，所述标准地址树通过以下步骤生成：按照行政区划的地址名、以及相应行政区域的级别大小构建标准地址树；其中，级别相邻的行政区域为所述标准地址树中的父子节点。

进一步，所述通过有限状态机进行标注并校正的过程具体包括：

对再次切分后的每个第二地址名通过关键字标注出每个第二地址名的状态；

将所述每个第二地址名的状态输入有限状态机，并判断是否为一个合理有效的地址；

若地址不是一个合理有效的地址，则对地址进行剔除。

进一步，所述与预先存储的地址进行余弦相似度匹配的过程具体包括：

将所述第一地址名和所述再次切分后的第二地址名，生成每个所述第一地址名和所述第二地址名的词频，得到词频向量；

根据所述词频向量计算每个所述第二地址名的权重值；

根据计算出的权重值得到比较向量；

采用所述比较向量，根据余弦相似度计算公式进行相似度计算。

进一步，所述余弦相似度计算公式为：

式中：为第一地址的第一比较向量V_A中的元素，ω_B为第二地址的第二比较向量V_B中的元素，所述第一地址当前读取的地址；所述第二地址为所述预先存储的地址；所述元素的数量为n个，i＝1～n。