[发明专利]一种数据处理方法、装置、电子设备及存储介质有效
申请号: | 202210109599.7 | 申请日: | 2022-01-29 |
公开(公告)号: | CN114116013B | 公开(公告)日: | 2022-04-19 |
发明(设计)人: | 孔令军;庞兆春;林宁亚;王贤坤;宋琪 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F9/315 | 分类号: | G06F9/315;G06F9/38 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 胡晓静 |
地址: | 215000 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,应用于数据处理系统,所述数据处理系统包括:若干个由并列的多个处理单元组成的处理层,相邻处理层对应位置的处理单元之间设有数据传输通道,其特征在于,所述方法包括:
获取待处理数据;其中,所述待处理数据中每个元素携带有类别标签,所述类别标签分为有效标签和无效标签两类;
按照所述待处理数据的元素原始排列顺序,将所述待处理数据中的元素依次输入到首个处理层的各个处理单元;
基于各所述处理单元,根据预设的有效数据管理逻辑和所述元素的类别标签,进行元素移位,并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元,以再次对所述待处理数据的元素进行移位,直至所有所述处理层的处理单元完成元素移位操作;
按照处理单元的排列顺序,依次采集最后一个处理层中各所述处理单元中经过移位后的元素,以得到处理后的目标数据;
其中,在得到处理后的目标数据之后,所述方法还包括:
根据所述目标数据的元素排列顺序和各所述元素所携带的类别标签,判断所述目标数据是否达到有效数据管理标准;
当所述目标数据未达到所述有效数据管理标准时,按照所述目标数据的元素排列顺序,将所述目标数据中的元素依次输入到首个处理层的各个处理单元,以重新对所述目标数据进行元素移位操作,得到新的目标数据。
2.根据权利要求1所述的方法,其特征在于,所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签,判断是否需要将上层处理单元中的元素移位到本层,并将判断结果发送到所述上层处理单元。
3.根据权利要求1所述的方法,其特征在于,还包括:
检测所述待处理数据的元素有效率;
根据所述元素有效率和所述待处理数据的数据长度,确定所述处理层的部署需求信息。
4.根据权利要求3所述的方法,其特征在于,检测所述待处理数据的元素有效率,包括:
根据所述待处理数据中各元素携带的类别标签,从所述待处理数据中定位有效元素;
根据所述待处理数据中的有效元素量和所述待处理数据的数据长度,确定所述待处理数据的元素有效率。
5.根据权利要求4所述的方法,其特征在于,在得到处理后的目标数据之后,所述方法还包括:
检测所述目标数据中的有效元素量;
比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致;
当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时,进行数据处理异常报警。
6.根据权利要求5所述的方法,其特征在于,还包括:
判断当前得到的所有所述目标数据中的有效元素总量是否达到有效元素获取需求;
若当前得到的所有所述目标数据中的有效元素总量未达到有效元素获取需求,则获取新的待处理数据,以增添目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210109599.7/1.html,转载请声明来源钻瓜专利网。