[发明专利]数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

每隔预设时间段从数据源获取数据流；

对所述数据流中的数据进行解析，得到多个指定结构的目标数据；

确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序；

按照所述流经顺序将所述多个数据处理节点进行连接得到数据处理通道，将多个所述目标数据导入所述数据处理通道进行数据处理；

在所述数据处理通道中，分别对每个所述目标数据进行分析处理，得到每个所述目标数据对应的处理结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序，包括：

为多个所述目标数据设定缓存时间节点，按照相应的所述缓存时间节点将多个所述目标数据分别缓存至数据库中；

当到达预设统计周期时，判断所述数据库中的所述目标数据的数据量是否大于预设数据量阈值；

若是，则确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序。

3.根据权利要求1所述的方法，其特征在于，所述对所述数据流中的数据进行解析，得到多个指定结构的目标数据，包括：

对所述数据流中的数据进行解析，得到多个数据；

确定每个所述数据的字段，得到多个字段；

统计每个字段在所述数据流中出现的次数，从所述多个字段中筛选出排在前N位的字段，得到多个目标字段；其中，所述N2；

确定每个所述目标字段的数据，得到多个指定结构的目标数据。

4.根据权利要求3所述的方法，其特征在于，所述确定每个所述数据的字段，得到多个字段，包括：

从所述数据流中提取携带有字段相关信息的特征值；

根据所述特征值确定每个所述数据的字段，得到多个字段。

5.根据权利要求1所述的方法，其特征在于，所述分别对每个所述目标数据进行分析处理，得到每个所述目标数据对应的处理结果，包括：

当确定所述目标数据为目标用户的用户数据时，对所述用户数据进行词特征提取，得到多个特征词；

将所述多个特征词输入预先训练好的内容推荐模型，得到处理结果；其中，所述处理结果包括待推荐给所述目标用户的推荐内容。

6.根据权利要求1所述的方法，其特征在于，所述每隔预设时间段从数据源获取数据流，包括：

获取用户预先输入的配置信息；其中，所述配置信息包括时间配置信息和数据源信息；

根据所述时间配置信息确定预设时间段，根据所述数据源信息确定目标数据源；

每隔所述预设时间段从所述目标数据源获取数据流。

7.根据权利要求1所述的方法，其特征在于，所述对所述数据流中的数据进行解析，得到多个指定结构的目标数据，包括：

对所述数据流中的数据进行解析，对解析得到的数据进行格式转换，得到多个指定结构的目标数据。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于每隔预设时间段从数据源获取数据流；

解析模块，用于对所述数据流中的数据进行解析，得到多个指定结构的目标数据；

确定模块，用于确定所述数据流的多个数据处理节点和所述数据流流经所述多个数据处理节点的流经顺序；

连接模块，用于按照所述流经顺序将所述多个数据处理节点进行连接得到数据处理通道，将多个所述目标数据导入所述数据处理通道进行数据处理；

计算模块，用于在所述数据处理通道中，分别对每个所述目标数据进行分析处理，得到每个所述目标数据对应的处理结果。

9.一种计算机设备，其特征在于，包括：

处理器；

存储器；

其中，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7任一项所述的数据处理方法。