[发明专利]一种基于海量数据的位置信息提取方法和装置

说明书

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于海量数据的位置信息提取方法和装置。

背景技术

互联网的高速发展，使数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，伴随而来的是人类可以分析和处理的海量数据。在中型以上的城市如北京、上海，每天在网络行为中产生的各类数据已经超过PB级。LBS(Location Based Services)：又称基于位置的服务，它是通过电信移动运营商的无线电通讯网络(如GSM网、CDMA网)或外部定位方式(如GPS)及其他定位手段获取移动终端用户的位置信息(地理坐标，或大地坐标)，在GIS(Geographic Information System，地理信息系统)平台的支持下，为用户提供相应服务的一种增值业务。基于LBS的服务业务在大数据处理得到了蓬勃地发展，各种开放式API得到了广泛的使用。如Google，就为用户提供了开放式的API服务。注册用户可以根据不同的需要来使用对应的服务，如通过IP查寻经纬度、通过WIFI MAC地址查寻、通过手机基站信息查寻地址、通过经纬度查寻地址、通过地址查寻经纬度等服务。同时，各个行业的基于LBS的业务也在蓬勃开展。但是由于海量数据直接看起来很不方便、直观，而且格式也不尽相同，在进行海量数据处理，尤其是在海量数据中提取位置信息，目前进行全文检索提取相关数据信息的算法一般是采用各种分词技术，然而传统的全文检索方法缓慢、效率低下。

发明内容

本发明提供一种基于海量数据的位置信息提取方法和装置，以实现在海量数据中高效的提取位置信息。

第一方面，本发明实施例提供了一种基于海量数据的位置信息提取方法，包括：

从全文数据库系统TRS中提取原始数据；

从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取应用信息；

根据所述应用信息在预先设定的规则数据库中提取与所述应用信息对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息；

将所述位置信息与所述公共字段合并为有效数据；

将所述有效数据输出到业务数据库和/或bcp文件。

第二方面，本发明实施例还提供了一种基于海量数据的位置信息提取装置，其特征在于，包括：

原始数据提取模块，用于从全文数据库系统TRS中提取原始数据；

应用信息获取模块，用于从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取应用信息；

位置信息提取模块，用于根据所述应用信息在预先设定的规则数据库中提取与所述应用信息对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息；

有效数据合并模块，用于将所述位置信息与所述公共字段合并为有效数据；

有效数据输出模块，用于将所述有效数据输出到业务数据库和/或bcp文件。

本发明通过从全文数据库系统TRS中提取原始数据，并根据从提取的原始数据中提取的应用信息，在预先设定的规则数据库中提取与所述应用信息对应的提取规则，使用所述提取规则从所述原始数据中提取位置信息，解决了现有技术全文检索提取位置信息缓慢、效率低下的问题，实现了在海量数据中高效的提取位置信息的效果。

附图说明

图1为本发明实施例一提供的一种基于海量数据的位置信息提取方法的流程图；

图2为本发明实施例二提供的一种基于海量数据的位置信息提取方法的流程图；

图3为本发明实施例二提供的一种基于海量数据的位置信息提取方法的算法流程图；

图4为本发明实施例二提供的根据在预先设定的规则数据库中提取的与应用信息对应的提取规则，从原始数据中提取位置信息的算法流程图；

图5为本发明实施例三提供的数据库管理示意图；

图6为本发明实施例四提供的一种基于海量数据的位置信息提取装置的结构示意图；

图7为本发明实施例四提供的基于海量数据的位置信息提取装置的整体数据流示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一