[发明专利]一种数据验证方法、装置及任务处理芯片

说明书

本公开提供了一种数据验证方法、装置及任务处理芯片，其中，该方法包括：获取多组待验证数据和每组待验证数据对应的第一验证值；其中，所述第一验证值是所述多组待验证数据在传输之前计算的；确定获取的每组待验证数据对应的第二验证值；基于每组待验证数据对应的第一验证值和第二验证值，对每组待验证数据的传输结果进行验证。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种数据验证方法、装置及任务处理芯片。

背景技术

新一代人工智能技术的特点之一是通过大量数据训练深度学习模型，在此过程中用于训练模型的数据集和深度学习模型本身都越来越大，训练成本也越来越高。由于数据集的数据量庞大，一旦发生数据破坏和意外篡改，难以直接被发现。因此在数据集的数据传输过程中，往往通过对数据集整体进行验证的方式检查数据集整体的完整性，以防止传输过程的意外破坏。

相关技术中，随着分布式训练模式的普及，一个完整的数据集往往需要进行拆分，并将拆分后得到的子数据集发送至不同的计算单元执行训练任务，而由于数据集进行了拆分，现有的验证方式无法验证出拆分后的数据集的完整性，从而无法较好的适应分布式训练的应用场景。

发明内容

本公开实施例至少提供一种数据验证方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种数据验证方法，包括：

获取多组待验证数据和每组待验证数据对应的第一验证值；其中，所述第一验证值是所述多组待验证数据在传输之前计算的；

确定获取的每组待验证数据对应的第二验证值；

基于每组待验证数据对应的第一验证值和第二验证值，对每组待验证数据的传输结果进行验证。

这样，通过将数据集中的数据划分为多个待验证数据组，并为每组待验证数据设置对应的第一验证值，使得后续进行传输结果验证以及神经网络训练时，不同的计算单元能够使用不同的待验证数据组，且每组待验证数据均有对应的验证依据，从而能够较好的适应神经网络分布式训练的应用场景。

一种可能的实施方式中，所述基于每组待验证数据对应的第一验证值和第二验证值，对每组待验证数据的传输结果进行验证，包括：

针对任一组待验证数据，在该组待验证数据对应的第一验证值和第二验证值一致的情况下，确定该组待验证数据传输完整；

在该组待验证数据对应的第一验证值和第二验证值不一致的情况下，重新获取该组待验证数据。

这样，通过对分组后得到的每组待验证数据对应的数据传输前的第一验证值，和数据传输后的第二验证值进行比对，可以使得数据的验证方式更符合分布式神经网络训练等数据集分布式使用场景。

一种可能的实施方式中，所述第一验证值和第二验证值为密码散列值；

根据以下方法确定多组待验证数据和每组待验证数据对应的第一验证值：

基于预设的分组组数/预设的每组中所包含的数据个数，对待传输数据进行分组处理，得到分组处理后的多组待验证数据；

基于分组处理后的每组待验证数据中的待验证数据进行哈希运算，确定每组待验证数据对应的第一密码散列值，并将所述第一密码散列值作为所述第一验证值；

基于以下方法确定每组待验证数据对应的第二验证值：

基于获取的每组待验证数据中的待验证数据进行哈希运算，确定获取的每组待验证数据对应的第二密码散列值，并将所述第二密码散列值作为所述第二验证值。

一种可能的实施方式中，所述确定获取的每组待验证数据对应的第二验证值，包括：

从所述多组待验证数据中抽取目标组待验证数据；