[发明专利]数据处理的方法和装置

权利要求书

1.一种数据处理的方法，其特征在于，包括：

获取数据处理请求的状态特征；

根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；

根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。

2.如权利要求1所述的方法，其特征在于，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：

将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。

3.如权利要求1所述的方法，其特征在于，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。

4.如权利要求3所述的方法，其特征在于，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。

5.如权利要求3所述的方法，其特征在于，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。

6.如权利要求1所述的方法，其特征在于，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。

7.一种数据处理的装置，其特征在于，包括：

特征获取模块，获取数据处理请求的状态特征；

模型计算模块，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；

强化学习模块，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。

8.如权利要求7所述的装置，其特征在于，所述模型计算模块根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：

将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。

9.一种数据处理的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。