[发明专利]通用特征库生成方法及装置、存储介质、电子设备

说明书

本公开是关于一种通用特征库生成方法及装置，属于数据处理技术领域，该方法包括：获取多个数据源并对各所述数据源进行预处理得到多个原始指标；根据各所述原始指标的变量对各所述原始指标进行分组并对分组结果进行第一运算处理得到多个基础指标；根据各所述基础指标的共性将各所述基础指标分为多个指标类，并对各所述指标类进行第二运算处理得到多个衍生指标；将各所述原始指标、基础指标以及衍生指标进行汇总得到所述通用特征库。该方法通过从通用特征库获取模型指标的取值，避免了指标在加工阶段存在大量的重复工作的问题，提高了指标的取值速度。

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种通用特征库生成方法、通用特征库生成装置、计算机可读存储介质以及电子设备。

背景技术

随着电子商务的发展，机器学习算法在电子商务中的应用也越来越广泛，例如可以包括电商反欺诈、信用模型构建以及搜索引擎推荐等等。

目前，机器学习算法的数据处理一般流程可以包括：首先，针对不同的业务需求分析海量的数据中与业务相关的有价值的潜在指标特征，并根据分析经验预先设定好要得到的指标内容；其次，进行数据抽取转换加载(ETL，Extract Transform Load)生成预先设定的指标，并进行数据深度处理；最后，采用机器学习方法进行建模，从而挖掘出隐含的、未知的、对决策有潜在价值的关系、模式以及趋势等等。

参考图1所示，现有的数据挖掘建模过程可以包括：S102.明确业务需求：了解业务，明确需求，对数据挖掘以及建模目标有一个清晰明确的定义；S103.指标设计加工：构思设计与业务相关指标，从海量数据源101中对数据进行针对性筛选；S104.数据挖掘建模：对加工好的指标进行探索、后处理以及机器学习建模以及模型测试修改；S105.业务场景应用：建模结果应用于实际业务场景、观察效果以及后续调整。

但是，上述建模流程存在如下缺点：一方面，会约束模型中的指标取值范围，缺乏全面性；另一方面，评价指标的数据量有限，靠人的行业经验来制定指标，可比性和可测性降低；再一方面，对于不同的业务需求建模，指标加工阶段存在大量重复工作；更进一步的，不同业务需求建模的指标含义不通用，不便于模型的融合应用。

因此，需要提供一种新的通用特征库生成方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种通用特征库生成方法、通用特征库生成装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种通用特征库生成方法，包括：

获取多个数据源并对各所述数据源进行预处理得到多个原始指标；

根据各所述原始指标的变量对各所述原始指标进行分组并对分组结果进行第一运算处理得到多个基础指标；

根据各所述基础指标的共性将各所述基础指标分为多个指标类，并对各所述指标类进行第二运算处理得到多个衍生指标；

将各所述原始指标、基础指标以及衍生指标进行汇总得到所述通用特征库。

在本公开的一种示例性实施例中，获取多个数据源并对各所述数据源进行预处理得到多个原始指标包括：

根据所述通用特征库的待服务范围从多个数据系统中获取与所述待服务范围关联的多个数据源；

对获取到的各所述数据源进行抽取、加载、转换以及清洗得到多个所述原始指标。

在本公开的一种示例性实施例中，对获取到的各所述数据源进行抽取包括：