[发明专利]一种基于大数据的场所从业人员预警方法

说明书

一种基于大数据的场所从业人员预警方法，包括：通过基于场所从业人员的多数据库，收集预警所需的数据源；根据实际预警需求，创建数据接入任务，从数据源中接入所需数据；在数据治理前，对从数据源中接入的所需数据的数据处理标准进行定义；根据定义的数据处理标准，对数据源中接入所需数据进行数据处理；根据处理完成的数据，构建从业人员预警模型，对场所从业人员进行预警。本发明场所从业人员预警模型利用不同的角度和数据构建，精确的进行人员分析和挖掘；标准化的数据治理方案是装置成功实施的基础且重要部分，基于该方案才能让数据建模工作顺利进行，并且该数据治理方案切实可行，治理结果可重复应用。

技术领域

本发明涉及的是数据分析领域，特别涉及一种基于大数据的场所从业人员预警方法。

背景技术

随着时代经济的快速增长，人民生活水平日益提高，各种服务行业飞速发展，特别是娱乐服务业、机修业、游览娱乐服务、传输业等服务行业发展更为迅速，该行业已经成为每个城市的庞大的社会经济产业，从业人员称为一个庞大的社会人群，但是由于这些场所本身管理参差不齐，从业人员鱼龙混杂，对社会和消费者带来较大治安问题，同时这些场所从业人员中隐藏了侵扰甚至抢劫伤害群众的需要目标关注管控的对象，给社会治安造成极大威胁，给相关部门的治安管理工作带来很大隐患。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于大数据的场所从业人员预警方法。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种基于大数据的场所从业人员预警方法，包括：

S100.通过基于场所从业人员的多数据库，收集预警所需的数据源；

S200.根据实际预警需求，创建数据接入任务，从数据源中接入所需数据；

S300.在数据治理前，对从数据源中接入的所需数据的数据处理标准进行定义；

S400.根据定义的数据处理标准，对数据源中接入所需数据进行数据处理；

S500.根据S400处理完成的数据，构建从业人员预警模型，对场所从业人员进行预警。

进一步地，基于场所从业人员的多数据库，至少包括场所从业人员管理数据库、蛛网数据库、目标人员数据库、案件警情数据库和流动人口数据库。

进一步地，从数据源中接入所需数据时，根据不同数据配置不同数据接入的频率，并将要用于构建预警模型的数据接入到hive中存储。

进一步地，对从数据源中接入的所需数据的数据处理标准进行定义，包括数据中的数据表和字段标准定义和命名、数据字典标准、同义词字典和数据处理规则进行定义。

进一步地，对从数据源中接入的所需数据的数据处理标准进行定义，具体包括：对数据标准中的字段标准和标准表结构预定义，即根据相关行业的标准和规范中的数据元和限定词定义字段名称；对数据库标准中的标准数据字典定义；对数据标准中的同义词字典定义；对数据标准中的数据处理规则进行定义。

进一步地，根据预设的数据处理规则，对数据源中接入所需数据进行处理，具体包括：

针对所选的S200中需要治理的数据表，找到S300中对应的标准的表定义，在HIVE中默认创建一个标准表结构，用于存储治理后的正确的数据；对原始的表结构字段和目标的标准字段进行一一映射；对数据表中的字典字段处理；对属于字典的字段进行标记，手动标记其属于的字典编码；对数据表中的其他字段进行处理；对数据表进行去重。

进一步地，构建从业人员预警模型，至少包括：第一类型人员预警模型、第二类型人员预警模型、第三类型从业人员预警模型、第四类型从业人员预警模型。

本发明实施例提供的上述技术方案的有益效果至少包括：