[发明专利]地区名称的标准化处理和清洗方法及系统

说明书

本发明公开了地区名称的标准化处理和清洗方法及系统，属于数据处理技术领域，要解决的技术问题为如何实现多源异构背景下各种非标准化地区名称的标准化处理以及清洗。包括如下步骤：基于国家行政部的行政区划分类标准，确定地区标准；根据所述地区标准，得到每个省份、每个城市以及每个区县的别名集；对于省级、城市级以及区县级的地区，按照笛卡尔乘积组合方式得到地区别名词典；基于省级、城市级以及区县级的地区对应的地区别名词典，对重名地区的别名词典进行检测和消除后，对地区别名词典进行汇总，得到最终的地区别名词典系统；基于所述最终的地区别名词典系统进行地区的标准化。

技术领域

本发明涉及数据处理技术领域，具体地说是地区名称的标准化处理和清洗方法及系统。

背景技术

地址数据是公共地理框架数据的重要组成部分，是对地址信息的结构化描述与标识，是专业或社会经济信息与地理空间信息通过地理编码或地址匹配进行挂接的媒介与桥梁。数据处理是对数据进行分析和加工的技术过程，包括对不规范数据的清洗和统一标准化过程。

地址数据渗透在生活工作的方方面面，地区分析是各类商业分析、政务数据分析的重要分析维度和关注焦点，如分析各城市的网点数量、各区县市的网络零售规模、各地区的经济发展水平。虽然，国家有关部门也有相关的地区标准，但地区标准也存在不一致情况，如民政部的行政区划标准、统计局的统计用地区标准、各省市内部标准等，并且地区更名是常态情况，部门间标准也未能保持统一。同时，在电商大数据等互联网数据采集、政府各单位数据汇聚、各企业业务数据汇聚的过程中，由于没有统一的标准和命名方式，会出现各种地区标准、格式的地区名称以及地区的历史曾用名称，无法进行有效的统一。以电商大数据采集为例，有商家经营地、发货地、商品产地、目的地、所在地、经销地、生产地址、企业工商注册地、企业住所、企业登记机关等地址地区信息，格式非常多样，使用原始数据无法进行统一的地区分析。

如何实现多源异构背景下各种非标准化地区名称的标准化处理以及清洗，时需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供地区名称的标准化处理和清洗方法及系统，来解决如何实现多源异构背景下各种非标准化地区名称的标准化处理以及清洗的技术问题。

第一方面，本发明一种地区名称的标准化处理和清洗方法，包括如下步骤：

基于国家行政部的行政区划分类标准，确定地区标准；

根据所述地区标准，得到每个省份、每个城市以及每个区县的别名集；

对于省级、城市级以及区县级的地区，按照笛卡尔乘积组合方式得到地区别名词典；

基于省级、城市级以及区县级的地区对应的地区别名词典，对重名地区的别名词典进行检测和消除后，对地区别名词典进行汇总，得到最终的地区别名词典系统；

基于所述最终的地区别名词典系统进行地区的标准化。

作为优选，所述行政区划分类标准包括行政区划代码和行政区划名称信息。

作为优选，所述别名集包括地区标准名称、地区常用名集以及地区曾用名集；

根据所述地区标准，得到每个省份、每个城市以及每个区县的别名集，包括如下步骤：

按照民政部行政区划分类标准，处理得到每个地区的标准名称；

处理得到每个地区的常用名集，包括去掉固定尾缀后得到一种简称、以及省级、城市级以及区县级的常用名；

处理得到每个地区的曾用名集，对于区划更名、区划撤销、区划新设立的情况，根据民政部公开的历年行政区划变更信息，处理得到每个地区的曾用名集；

处理得到每个地区的隶属关系，包括所属省份、所属城市，并按照编码方式记录；