[发明专利]用于执行机器学习的特征工程的方法及系统

说明书

提供一种用于执行机器学习的特征工程的方法及系统。所述方法包括：(A)获取作为数据源的数据表，其中，数据表的一行对应一条数据记录，数据表的一列对应一个字段；(B)获取用于生成特征的配置项，其中，所述配置项用于分别指示每个特征的名称、抽取方法和来源字段；(C)选择所述数据表中的部分数据记录；以及(D)向用户展示按照所述配置项，基于所述部分数据记录中的字段值来得到待展示特征的特征值的特征生成过程。根据所述方法及系统，方便用户直观地了解特征生成过程，有助于用户掌握特征生成过程中出现的问题。

技术领域

本发明总体说来涉及机器学习领域，更具体地讲，涉及一种用于执行机器学习的特征工程的方法及系统。

背景技术

随着海量数据的出现，人们倾向于使用机器学习技术来从数据中挖掘出价值。

训练机器学习模型的基本过程主要包括：

1、导入包含历史数据记录或预测数据记录的数据集(例如，数据表)；

2、完成特征工程，其中，通过对数据集中的数据记录的属性信息进行各种处理，以得到各个特征，这些特征构成的特征向量可作为机器学习训练样本或机器学习预测样本；

3、训练模型，其中，按照设置的机器学习算法(例如，逻辑回归算法、决策树算法、神经网络算法等)，基于经过特征工程所得到的机器学习训练样本来学习出模型；或者，执行预估，其中，利用训练出的模型针对机器学习预测样本来给出预测结果。

数据表中的每条数据记录可包括多个属性信息(即，字段)，而特征可指示字段本身或字段的局部、或字段的组合等各种字段处理(或运算)结果，以便更好地反映数据分布以及字段间的内在关联与潜在含义，因此，特征工程质量的好坏直接决定了机器学习问题刻画的准确性，进而影响模型的优劣。

在现有的机器学习平台上，在执行特征工程步骤时，通常按照设置的特征抽取方法来直接生成机器学习样本的特征，并将生成的特征输入到模型训练或预测步骤，在这一过程中，用户很难了解数据记录在特征抽取过程中的具体情况，相应地，也就缺少对这一过程的掌控。

发明内容

本发明的示例性实施例在于提供一种用于执行机器学习的特征工程的方法及系统，以解决现有技术存在的难以了解数据记录在特征抽取过程中的具体情况的问题。

根据本发明的示例性实施例，提供一种用于执行机器学习的特征工程的方法，包括：(A)获取作为数据源的数据表，其中，数据表的一行对应一条数据记录，数据表的一列对应一个字段；(B)获取用于生成特征的配置项，其中，所述配置项用于分别指示每个特征的名称、抽取方法和来源字段；(C)选择所述数据表中的部分数据记录；以及(D)向用户展示按照所述配置项，基于所述部分数据记录中的字段值来得到待展示特征的特征值的特征生成过程。

可选地，在步骤(D)中，通过列出所述部分数据记录中与待展示特征相应的来源字段值、抽取方法、按照抽取方法得到的中间值和/或特征值来展示所述特征生成过程。

可选地，响应于浏览特征生成过程的请求来执行步骤(C)和步骤(D)。

可选地，所述待展示特征包括用户选择的一个或多个特征；或者，所述待展示特征包括全部特征。

可选地，所述部分数据记录包括所述数据表中排在最前面和/或最后面的若干数据记录；或者，所述部分数据记录包括从所述数据表中随机抽取的若干数据记录。

可选地，在步骤(D)中，所展示的内容叠加在用于获取配置项的区域之上或与所述区域相邻。

可选地，步骤(A)还包括：展示所述数据表的字段名称和字段值数据类型；和/或预览所述数据表中的数据记录。

可选地，步骤(D)还包括：当所述特征生成过程中出现异常时，提示用户出现异常的抽取步骤。