[发明专利]数据处理方法、装置及计算机设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；

将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；

对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；

基于所述在线用户特征数据集对模型进行训练。

2.如权利要求1所述的数据处理方法，其特征在于，所述对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，包括：

从所述第一存储单元中拉取每一条所述初始用户行为数据；

依次对每一条所述初始用户行为数据标记上消息编码；

将已标记消息编码的初始用户行为数据进行有效字段提取，得到对应的用户行为数据，记录到第一在线用户行为数据集。

3.如权利要求2所述的数据处理方法，其特征在于，所述有效字段包括用户ID，用户身份信息，行为数据产生时间和推荐数据中的至少一项。

4.如权利要求1-3中任一项所述的数据处理方法，其特征在于，所述对第一存储单元中的用户行为数据进行处理，还包括：

将所述第一存储单元中的相同用户端产生的初始用户行为数据分配到Flink计算引擎中的同一个计算节点执行数据处理。

5.如权利要求1所述的数据处理方法，其特征在于，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，包括：

将第一在线用户行为数据集和第二在线用户行为数据集的所有用户行为数据进行去重操作，并根据产生时间进行先后排序；

对于产生时间小于预设时间阈值的过期用户行为数据进行清除，得到所述第三在线用户行为数据；

将所述第三在线用户行为数据替换存储到所述第二存储单元。

6.如权利要求1-5中任一项所述的数据处理方法，其特征在于，所述方法还包括：

扫描所述第一在线用户行为数据集的所有用户行为数据，生成对应的第一版本号，所述版本号包括所述第一在线用户行为数据集的所有用行为数据的快照信息；

将所述第一版本号存储到所述第二存储单元；

将所述第一在线用户行为数据集和所述第一版本号存储到预设的第三存储单元。

7.如权利要求6所述的数据处理方法，其特征在于，在完成对所述模型的训练且所第二存储单元中的在线用户行为数据集再次更新之后，所述方法还包括：

根据所述第一版本号从第三存储单元中查询出所述第一在线用户行为数据集用于执行对所述模型的回归训练过程。

8.一种数据处理装置，其特征在于，所述装置包括：

处理模块，用于对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；

合并模块，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；

提取模块，用于对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；

训练模块，用于基于所述在线用户特征数据集对模型进行训练。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～7中任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1～7中任一项所述的数据处理方法的步骤。