[发明专利]一种基于海量数据的位置信息提取方法和装置

权利要求书

1.一种基于海量数据的位置信息提取方法，其特征在于，包括：

从全文数据库系统TRS中提取原始数据；

从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取应用信息；

根据所述应用信息在预先设定的规则数据库中提取与所述应用信息对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息；

当所述User-Agent内容为空；以及，所述预先设定的规则数据库中没有与所述应用信息对应的提取规则时，使用通用规则从所述原始数据中提取位置信息；

将所述位置信息与所述公共字段合并为有效数据；

将所述有效数据输出到业务数据库和/或bcp文件。

2.根据权利要求1所述的方法，其特征在于，在将所述有效数据输出到业务数据库和/或bcp文件之后，还包括：

接收用户的查询请求，返回查询请求数据。

3.根据权利要求2所述的方法，其特征在于，还包括：

管理所述TRS中的数据源，包括修改数据源，删除数据源，添加数据源，查询数据源；

管理应用信息数据库，包括修改应用信息，删除应用信息，添加应用信息，查询应用信息；

管理所述预先设定的规则数据库，包括修改提取规则，删除提取规则，添加提取规则，查询提取规则。

4.根据权利要求3所述的方法，其特征在于，在将所述位置信息与所述公共字段合并为有效数据之后，在将所述有效数据输出到业务数据库和bcp文件之前，还包括：

过滤错误数据以及相同数据。

5.一种基于海量数据的位置信息提取装置，其特征在于，包括：

原始数据提取模块，用于从全文数据库系统TRS中提取原始数据；

应用信息获取模块，用于从提取的原始数据中提取公共字段和用户代理User-Agent内容，并从所述User-Agent内容获取应用信息；

位置信息提取模块，用于根据所述应用信息在预先设定的规则数据库中提取与所述应用信息对应的提取规则，并根据所述提取规则从所述原始数据中提取位置信息；

所述位置信息提取模块还用于，当所述User-Agent内容为空；以及，所述预先设定的规则数据库中没有与所述应用信息对应的提取规则时，使用通用规则从所述原始数据中提取位置信息；

有效数据合并模块，用于将所述位置信息与所述公共字段合并为有效数据；

有效数据输出模块，用于将所述有效数据输出到业务数据库和/或bcp文件。

6.根据权利要求5所述的装置，其特征在于，还包括：

用户查询请求响应模块，用于接收用户的查询请求，返回查询请求数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

管理模块，包括数据源管理单元，应用信息管理单元，提取规则管理单元；

其中，所述数据源管理单元，用于管理所述TRS中的数据源，包括修改数据源，删除数据源，添加数据源，查询数据源；

所述应用信息管理单元，用于管理应用信息数据库，包括修改应用信息，删除应用信息，添加应用信息，查询应用信息；

所述提取规则管理单元，用于管理所述预先设定的规则数据库，包括修改提取规则，删除提取规则，添加提取规则，查询提取规则。

8.根据权利要求7所述的装置，其特征在于，还包括：

过滤模块，用于过滤错误数据以及相同数据。