[发明专利]一种处理多类型数据的方法及系统

说明书

本申请公开了一种处理多类型数据的方法及系统，所述方法包括：对数据进行预处理，获取训练数据；基于DeepFM模型进行改进，获取多类型数据处理模型；将所述训练数据输入到所述多类型数据处理模型进行模型训练，获取最优的所述多类型数据处理模型；通过最优的所述多类型数据处理模型对数据进行处理。基于本申请，能够对不同类型不同维度数据进行有效处理，从而更充分有效地利用数据来学习模型。

技术领域

本发明涉及计算机技术领域。更具体的说，本发明涉及一种处理多类型数据的方法及系统。

背景技术

随着互联网技术的发展，公司往往能收集到越来越多的用户数据，这些数据通常包含多种类型，如数值、字符和数组类型等，利用这些数据可以对用户一些商业相关行为偏好进行建模预测。而使用何种模型充分有效的利用这些数据来进行建模则是至关重要的一步。

目前常用的模型主要有逻辑回归模型、DeepFM模型以及Din模型。逻辑回归模型是应用最广泛的一个模型，在使用逻辑回归时，先对特征进行one-hot编码(独热编码)，然后输入逻辑回归模型；DeepFM模型最初提出是用于解决CTR(点击率)预测的问题，但是其也可以用于其他分类任务，DeepFM模型解决了逻辑回归中无法学习到特征组合的问题，且其不仅能学习到低阶特征组合，还能学习到高阶特征组合；Din模型也是最初提出用于解决CTR(点击率)预测的模型，相较于DeepFM其引入了一个注意力机制用来处理数组模型，从而给与数组特征中的每一个特征赋予不同的权重。

然而上述模型处理数据时仍存在以下问题:

1、逻辑回归模型由于其模型简单，相当于一个单层的神经网络，而且无法直接学习到特征组合，需要人为组合特征，因此其拟合能力也较差，经常作为各种分类任务的基准模型；

2、DeepFM模型无法处理序列类型特征，一个解决方法是对网络进行改造，对于数组类型特征，将此数组类的所有特征Embedding(嵌入)向量求平均或求和，以表示此数组类型特征。但是此种方法将一个数组类的特征看作同等重要，而对于某个用户某个目标任务来说，可能某些特征更为重要。此外，在DeepFM模型中，所有特征均直接使用相同维度的Embedding向量表示，而所有原始特征的维度常常是不同的，这会导致某些简单特征过拟合而某些复杂特征表示欠拟合；

3、如图1所示为Din模型网络结构图，Din模型通过外部候选广告来提供注意力，网络学习到用户浏览过的哪个物品信息对于当前候选广告来说更为重要，从而赋予更高的权重，但是这种注意力获取方法极大的限制了其应用范围，很多任务没有用来提供注意力的候选广告。此外，相较于DeepFM模型，Din模型未能学习到模型的低阶特征组合，这将影响到模型的效果。

发明内容

本申请实施例提供了一种处理多类型数据的方法，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种处理多类型数据的方法，所述方法包括以下步骤：

数据获取步骤：对数据进行预处理，获取训练数据；

模型改进步骤：基于DeepFM模型进行改进，获取多类型数据处理模型；

模型训练步骤：将所述训练数据输入到所述多类型数据处理模型进行模型训练，获取最优的所述多类型数据处理模型；

处理步骤：通过最优的所述多类型数据处理模型对数据进行处理。

作为本发明的进一步改进，所述模型训练步骤具体包括以下步骤:

特征提取步骤：提取所述训练数据的稀疏特征；

特征嵌入步骤：根据所述稀疏特征的维度将其自动嵌入到相适应维度向量，获取所述稀疏特征的特征嵌入向量；

特征表示步骤：根据所述特征嵌入向量分别获取低阶特征表示和高阶特征表示；