[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本申请提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。通过利用若干个处理层实现数据管理，且处理层中的处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。

技术领域

本申请涉及集成电路技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，计算机和集成电路技术得到了高速发展，计算机内部芯片在得到输入数据后，首先将对输入数据进行预处理，以使输入数据中的有效数据和无效数据能够得到区分。

在现有技术中，通常基于芯片的通用处理器运行预设的循环算法，来对输入数据中的每个元素进行有效性判断，然后再调整输入数据中的元素位置，以实现有效数据的筛选和合并。

但是，由于输入数据常常为高维向量数据，若基于现有技术进行有效数据管理，则需要进行大量的循环运算，无法保证有效数据管理效率。

发明内容

本申请提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术无法保证有效数据管理效率等缺陷。

本申请第一个方面提供一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，所述方法包括：

获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；

按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；

基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；

按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。

可选的，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。

可选的，还包括：

检测所述待处理数据的元素有效率；

根据所述元素有效率和所述待处理数据的数据长度，确定所述处理层的部署需求信息。

可选的，检测所述待处理数据的元素有效率，包括：

根据所述待处理数据中各元素携带的类别标签，从所述待处理数据中定位有效元素；

根据所述待处理数据中的有效元素量和所述待处理数据的数据长度，确定所述待处理数据的元素有效率。

可选的，在得到处理后的目标数据之后，所述方法还包括：

检测所述目标数据中的有效元素量；

比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致；

当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。

可选的，还包括：