[发明专利]数据请求的处理方法、系统、终端及可读存储介质

说明书

本申请提供了一种数据请求的处理方法，包括：获取并解析预设滑动时间窗口内的数据请求；若数据请求满足批量处理条件，则将数据请求传输至本地队列；分发本地队列中的数据请求至后端服务器进行批量处理。本申请通过对数据请求进行批量处理筛选，能缩短对数据请求的响应时间，提高数据请求的处理效率。

技术领域

本发明涉及数据请求的处理技术领域，尤其涉及一种数据请求的处理方法、系统、终端及可读存储介质。

背景技术

目前市面上流量/API网关基本都是使用基于滑动时间窗口的计数器、令牌桶、漏桶算法进行限流，这些算法都是限定一定时间内的请求量的，当请求超过这个限定的量，会有一部分请求被积压更或者被直接丢弃。然而，在一般的物流平台中网络请求都是短时间内批量的请求(如凌晨装车批量扫描货物录单、夜间到达场站批量到达、结算运费财务付款时批量支付到司机钱包)。使用目前市面上的流量/API网关要么无法有效达到限流效果、要么限流过于严重批量操作无法全部成功。解决在物流平台这个场景下，一般的流量/API网关限流器下的批量请求无法全部成功、或其他请求无法达到有效的限流效果这两个主体问题。

发明内容

有鉴于此，本发明提供了一种数据请求的处理方法、系统、终端及可读存储介质，能缩短对数据请求的响应时间，提高数据请求的处理效率。

本申请提供了一种数据请求的处理方法，包括：

获取并解析预设滑动时间窗口内的数据请求；

若所述数据请求满足批量处理条件，则将所述数据请求传输至本地队列；

分发所述本地队列中的数据请求至后端服务器进行批量处理。

可选地，所述批量处理条件包括所述数据请求的数据格式、请求来源、包体长度、字段数、字段重复率中的至少一项，所述数据请求满足批量处理条件，包括以下至少一项：

所述数据请求的数据格式为预设格式；

所述数据请求的请求来源相同；

所述数据请求的包体长度的方差小于或等于第一预设值；

所述数据请求的字段数的方差小于或等于第二预设值；

所述数据请求的字段重复率大于或等于第三预设值。

可选地，所述分发所述本地队列中的数据请求至后端服务器进行批量处理，包括：

通过容量评估插件确定或生成预设速率；

根据所述预设速率分发所述本地队列中的数据请求至后端服务器。

可选地，所述分发所述本地队列中的数据请求至后端服务器进行批量处理之后，还包括：

根据所述本地队列中的数据请求积压量调整所述后端服务器的数量。

可选地，所述根据所述本地队列中的数据请求积压量调整所述后端服务器的数量的算法为PID控制算法，表达式为：

其中，μ(t)为后端服务器的增减量；Kp为预设比例增益值；T_t为积分时间常数；T_D为微分时间常数；e(t)为目标积压量与实测积压量的差值。

可选地，所述根据所述本地队列中的数据请求的积压量调整所述后端服务器的数量之后，还包括：

若目标积压请求量和实测积压量的差值无变化或增大，则触发异常警告。

可选地，所述方法，还包括：

若所述数据请求满足批量处理条件，则根据负载均衡算法分发所述数据请求至后端服务器；