[发明专利]画像生成系统及其方法、电子设备及存储介质

说明书

本发明实施例提供一种画像生成系统及其方法、电子设备及存储介质，包括：多源数据整合抽取层用于获取并根据多源数据所属类型将多源数据分别按照指定的数据模型抽取至数据存储层；数据存储层用于接收并分别按照指定的数据模型存储由所述多数据源整合抽取层传输的多源数据；标签计算层用于采用drools规则引擎，将标签加工规则进行解析，转换为presto查询组件，利用所述presto查询组件对数据进行加工，将得到的用户的多维度标签结果保存至属性表；标签应用层，用于根据所述属性表，生成提供用户检索和标签检索的用户画像。通过本发明实施例可降低用户画像多数据源统一的难度和提高数据整合的准确性，保障最终产出画像数据的质量。

技术领域

本发明涉及一种画像生成系统及其方法、电子设备及存储介质，属于用户网络画像技术领域。

背景技术

在当前阶段，随着互联网的快速发展，用户在网络产生的行为越来越多，同时也越来越分散。为了更深入的研究用户，了解用户的特征和需求就必须通过用户画像的方式，从海量、离散的数据中总结归纳用户，将其分散、不可解读的行为归纳为可理解的用户标签，通过不同维度的标签组合去对用户进行画像，发掘用户的特征和需求，便于去更好的营销、运营用户，给用户提供更合适的服务与产品。

当前进行用户画像建设，在小规模用户量和单一数据来源的场景下，通过mysql等轻量级数据库编写脚本进行画像标签的加工即可；而在海量用户且多个不同数据来源、数据格式的场景，则需要进行大数据平台建设，通过不同的大数据组件对接不同的数据源。在各组件内完成相应的标签加工后在进行集中的整合形成全面的用户画像。

在当前多种数据源并存的场景下，画像数据需要在多个组件间进行独立的计算，完成后再进行统一，一整套画像数据需要多方的参与，任何一处口径不统一则有可能造成画像数据结果不一致，影响其准确性。现有画像数据的加工完全依赖于etl和脚本的开发，需要大量的技术人力成本去支持、维护。画像数据加工的过程主要为多组离线计算，难以满足当前实时行为快速画像的需求。

发明内容

本发明实施例提供一种降低用户画像多数据源统一的难度和提高数据整合的准确性，保障最终产出画像数据的质量的画像生成系统及其方法、电子设备及存储介质。

本发明实施例提供一种画像生成系统，包括：多源数据整合抽取层、数据存储层、标签计算层和标签应用层，其中：

所述多源数据整合抽取层用于连接已有多源数据，获取并根据多源数据所属类型将多源数据分别按照指定的数据模型抽取至数据存储层；

所述数据存储层，连接所述多源数据整合抽取层，用于接收并分别按照指定的数据模型存储由所述多数据源整合抽取层传输的多源数据，所述指定的数据模型包括用于存储用户实时产生的行为类数据的行为模型以及用于存储用户相对固定的状态类数据的属性模型；

所述标签计算层，连接所述数据存储层，用于采用drools规则引擎，将标签加工规则进行解析，转换为presto查询组件，利用所述presto查询组件对所述行为模型以及属性模型中的数据进行加工，将得到的用户的多维度标签结果保存至属性表；

所述标签应用层，连接所述标签计算层，用于根据所述属性表，生成提供用户检索和标签检索的用户画像。

根据本发明实施例提供的所述的画像生成系统，其中，所述已有多源数据包括存储在mysql、oracle、Hdfs、hive、hbase或mongodb存储架构中的数据；

所述根据多源数据所属类型将多源数据分别按照指定的数据模型抽取至数据存储层具体包括：

配置数据源连接，创建工作流；

在相应的工作流中选择指定的数据源进行数据抽取、ETL；

配置工作流，实现数据抽取、ETL、导入标签库的自行调度。