[发明专利]数据处理方法、装置、电子设备及存储介质有效
申请号: | 202110951857.1 | 申请日: | 2021-08-19 |
公开(公告)号: | CN113411224B | 公开(公告)日: | 2021-11-23 |
发明(设计)人: | 仇智慧;齐志艳;闵博;孙成新;王金明 | 申请(专利权)人: | 飞狐信息技术(天津)有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 藏斌 |
地址: | 300280 天津市滨海新区经济技术开发区*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
本申请提供了一种数据处理方法、装置、电子设备及存储介质,该数据处理方法应用于审核系统中的检测器,该方法包括:分别判断进入每一条业务线的网络数据的数据量是否出现异常;其中,网络数据是用户生成的;针对判断结果为出现异常的各个业务线,分别利用相应的预设异常处理链路对各个业务线的网络数据进行处理;其中,预设异常处理链路是经过摘除处理器、简化后的处理链路;也即,本申请能够在用户生成的网络数据突增时,利用预设异常处理链路对数据突增的业务线数据进行处理,减少了审核过程中耗时和占用系统资源较多的处理器,提高了系统稳定性,解决相关技术在面对进审网络数据突增等特殊情况时,容易导致审核系统瘫痪的问题。
技术领域
本发明涉及数据处理技术领域,具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展,针对用户生成的网络数据都需要经过审核系统进行审核,以保障网络环境的安全。其中,在审核系统的审核过程中一般需要先经过机器进行预处理,再经过人工进行最后的审查。
由于用户所生成的网络数据内容丰富,为了提高机器的预处理效率,通常先将网络数据划分为不同业务类型的数据,再分别将属于不同业务的各类网络数据送入相应的业务线进行审核。其中,每条业务线中设置有该条业务线所需处理的网络数据对应的各个处理器,每条业务线中的各个处理器按照处理顺序构成相应的处理链路,此种设计模式也可称作责任链模式。
但是,某些处理器在审核过程中非常耗时和占用系统资源,在面对进审网络数据突增等特殊情况时,容易导致审核系统瘫痪。
发明内容
对此,本申请提供一种数据处理方法、装置、电子设备及存储介质,以解决相关技术在面对进审网络数据突增等特殊情况时,容易导致审核系统瘫痪的问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明第一方面公开了一种数据处理方法,应用于审核系统中的检测器,所述审核系统包括N条业务线,N为正整数,所述数据处理方法包括:
分别判断进入每一条所述业务线的网络数据的数据量是否出现异常;其中,所述网络数据是用户生成的;
针对判断结果为出现异常的各个所述业务线,分别利用相应的预设异常处理链路对各个所述业务线的网络数据进行处理;其中,所述预设异常处理链路是经过摘除处理器、简化后的处理链路。
可选地,在上述的数据处理方法中,分别判断进入每一条所述业务线的网络数据的数据量是否出现异常,包括:
在预设统计时间段内,分别统计流入每一条所述业务线的网络数据,得到每一条所述业务线的网络数据的数据量;
分别判断每一条所述业务线的网络数据的数据量,是否超过相应业务线的预设进审数据阈值;
若判断出所述业务线的网络数据的数据量超过对应业务线的预设进审数据阈值,则判定所述业务线的网络数据的数据量出现异常;
若判断出所述业务线的网络数据的数据量未超过对应业务线的预设进审数据阈值,则判定所述业务线的网络数据的数据量未出现异常。
可选地,在上述的数据处理方法中,分别利用相应的预设异常处理链路对所述业务线的网络数据进行处理,包括:
按照每条所述业务线的预设异常处理链路中各个处理器顺序,依次对进入所述业务线的网络数据进行处理;
将完成处理的每条所述业务线的网络数据存储至数据库的备份表中。
可选地,在上述的数据处理方法中,在将完成处理的每条所述业务线的网络数据存储至数据库的备份表中之后,还包括:
按照预设数据导回条件,将所述备份表中存储的网络数据批量导回所述数据库的正式表中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于飞狐信息技术(天津)有限公司,未经飞狐信息技术(天津)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110951857.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种气缸盖以及燃气发动机
- 下一篇:一种滚流测试工装与一种滚流测试设备