[发明专利]一种融合多模式的标签体系构建方法和系统

说明书

一种融合多模式的标签体系构建方法，首先基于业务需求确定目标标签，分析、判断目标标签的计算方式和标签目录层级，然后从SQL方式、模型方式、自定义方式中选择标签计算方式。SQL方式根据目标标签反向分析所需的数据资源，将数据资源存储在Hive大数据资源池，标签结果存储在ElasticSearch上，通过编写SQL逻辑代码，组建增量打标任务工作流，实现标签计算。模型方式基于标签概率模型、标签积分模型或标签组合模型实现打标。自定义方式通过上传对象唯一主键实现打标。最后激活标签计算任务。本发明以业务需求为导向，设置SQL方式、模型方式、自定义方式三种标签计算方式，满足各类标签场景；基于LightGBM算法进行模型训练，训练速度快、内存开销小、模型精度和泛化能力强。

技术领域

本发明涉及的是大数据分析领域，特别涉及一种融合多模式的标签体系构建方法和系统。

背景技术

随着大数据技术的飞速发展，各行业积累的数据越来越多，数据结构愈发复杂，数据价值密度低的问题越来越突出。相关行业现已积累汇聚了人口、民航、铁路、住宿、社保等各类行业内部、互联网、政务网数据。数据体量巨大，单纯罗列记录的简单应用已经不能很好达到数据治理和整合的目的。标签是用来刻画业务实体特征的数据，通过建立相关行业数据标签体系，在多个维度上建立针对业务对象的描述性标签属性，对业务对象的特征进行勾勒刻画，构建对象的画像，更好地服务于业务应用。然而，当前缺乏一套能够适应多场景的快速构建标签的方法体系和工具，因此，有必要设计一种融合多模式的标签体系构建方法及系统。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种融合多模式的标签体系构建方法和系统。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种融合多模式的标签体系构建方法，包括：

S100.基于业务需求确定目标标签，分析和确定目标标签的计算方式和标签目录层级；

S200.根据确定的不同目标标签计算方式，编写计算任务逻辑；

S300.根据确定的不同目标标签计算方式，激活标签计算任务。

进一步地，S100中，目标标签的计算方式包括SQL方式、模型方式和自定义方式三种。

进一步地，标签目录层级采用四层架构，即标签对象、一级分类、二级分类、标签。

进一步地，当目标标签的计算方式为SQL方式时，具体方法为：根据目标标签反向分析所需的数据资源，将数据资源存储在Hive大数据资源池，标签结果存储在ElasticSearch上，通过编写SQL逻辑代码，组建增量打标任务工作流，实现标签计算。

进一步地，S200中，当目标标签的计算方式为模型方式时，模型方式分为标签概率模型、标签积分模型和标签组合模型，上述模型是基于已有的标签生成新的标签。

进一步地，当模型方式为标签概率模型时，具体方法为：选择模型正样本，并随机按一定比例抽取负样本，共同组成建模样本；再将建模样本划分为训练集和测试集，以标签特征值作为模型输入，然后利用LightGBM算法进行模型训练，分别计算模型在训练集、测试集上的准确率、精确率、召回率，进行模型评价；模型训练好后，数据对象的标签特征值，即可得到其研判概率，最后对概率划分阈值，超过阈值的对象打上标签，此标签为数值型标签。

进一步地，当模型方式为标签积分模型时，具体方法为：首先配置标签积分规则，然后基于ElasticSearch进行积分加权求和计算，最后对积分划分阈值，超过阈值的对象打上标签，此标签为数值型标签。

进一步地，当模型方式为标签组合模型时，具体方法为：首先配置标签交、并、补计算逻辑，筛选出对象群体，然后其打上新的标签，此标签为类别型标签。