[发明专利]数据处理方法和装置

说明书

本申请公开了数据处理方法和装置。该方法的一具体实施方式包括：响应于接收到待处理的数据，获取与数据相关联的特征值以及从预设的槽位集合中确定用于将数据分配到分布式系统节点的至少一个候选槽位；确定数据的类型，以及根据预设的分流类型映射表确定出与类型对应的分流步骤，其中，分流类型映射表用于表征数据的类型与分流步骤的对应关系；基于特征值，按照确定出的分流步骤从至少一个候选槽位中确定出用于将数据分配到分布式系统节点的槽位；根据预设的分布式系统映射表将数据发送到所确定出的槽位对应的分布式系统节点。该实施方式能够提高分布式系统中各节点的负载均衡性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及数据处理方法和装置。

背景技术

在互联网商业产品新功能正式发布之前，经常会对开发的产品和策略进行小流量的验证。线下测试不可能全覆盖实际场景，线上试运行测试必不可少，但需要通过分流来控制错误的影响。通常的做法是抽取A和B两组流量进行对比试验，不同的流量走的是不通的分支，进而辅助评估新的功能是否满足预期，是否可以全流量发布上线。为了保证随机性和用户的体验一致，传统的技术方案是在服务入口处按用户、流量百分比、其它特征值，将流量导入到预发布服务集群。

发明内容

本申请实施例提出了数据处理方法和装置。

第一方面，本申请实施例提供了一种数据处理方法，包括：响应于接收到待处理的数据，获取与数据相关联的特征值以及从预设的槽位集合中确定用于将数据分配到分布式系统节点的至少一个候选槽位，其中，槽位用于管理分布式系统中节点的资源；确定数据的类型，以及根据预设的分流类型映射表确定出与类型对应的分流步骤，其中，分流类型映射表用于表征数据的类型与分流步骤的对应关系；基于特征值，按照确定出的分流步骤从至少一个候选槽位中确定出用于将数据分配到分布式系统节点的槽位；根据预设的分布式系统映射表将数据发送到所确定出的槽位对应的分布式系统节点，其中，分布式系统映射表用于表征槽位与分布式系统节点之间的对应关系。

在一些实施例中，特征值包括从数据中提取的用户名；以及基于特征值，按照确定出的分流步骤从至少一个候选槽位中确定出用于将数据分配到分布式系统节点的槽位，包括：将特征值转化成哈希码；求取哈希码与至少一个候选槽位的数量的余数；根据预设的槽位映射表查询余数对应的槽位标识，其中，槽位映射表用于表征余数和槽位标识的对应关系。

在一些实施例中，特征值包括接收到数据的时间；以及基于特征值，按照确定出的分流步骤从至少一个候选槽位中确定出用于将数据分配到分布式系统节点的槽位，包括：获取至少一个候选槽位的历史流量，其中，历史流量指的是预定时间内分配给槽位的数据量；根据历史流量将一天划分为至少一个时间区间，其中，每个时间区间与一个候选槽位相对应；确定时间所在时间区间对应的候选槽位。

在一些实施例中，该方法还包括：将确定出的分流步骤、特征值和槽位对应的槽位标识记录到日志中。

在一些实施例中，该方法还包括：将日志发送给日志服务器。

第二方面，本申请实施例提供了一种数据处理装置，包括：获取单元，配置用于响应于接收到待处理的数据，获取与数据相关联的特征值以及从预设的槽位集合中确定用于将数据分配到分布式系统节点的至少一个候选槽位，其中，槽位用于管理分布式系统中节点的资源；第一确定单元，配置用于确定数据的类型，以及根据预设的分流类型映射表确定出与类型对应的分流步骤，其中，分流类型映射表用于表征数据的类型与分流步骤的对应关系；第二确定单元，配置用于基于特征值，按照确定出的分流步骤从至少一个候选槽位中确定出用于将数据分配到分布式系统节点的槽位；发送单元，配置用于根据预设的分布式系统映射表将数据发送到所确定出的槽位对应的分布式系统节点，其中，分布式系统映射表用于表征槽位与分布式系统节点之间的对应关系。