[发明专利]一种数据加载的方法、装置、电子设备及存储介质

说明书

本申请公开了一种数据加载的方法、装置、电子设备及存储介质，属于数据处理领域，实现了对大量数据进行加载时耗时更少。所述方法包括：将至少一个待处理数据合并为至少一个目标数据，其中，所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址，每个所述目标数据分别对应一个目标存储地址；基于所述目标存储地址，对所述目标数据进行加载。

技术领域

本申请属于数据处理领域，具体涉及一种数据加载的方法、装置、电子设备及存储介质。

背景技术

在相关技术领域中，技术人员需要训练相关模型，模型的准确率通常和数据量成正比，用于训练模型的相关数据量越多，模型精度就越高。但是数据量越多，数据的训练时间就越长，其中数据加载的耗时占比最高。相关技术中采用预加载方式对数据进行加载，但是在面对大量小数据时，预加载方式的加载速度仍然不理想。可见，相关技术中在加载大量小数据时往往需要消耗大量时间。

发明内容

本申请实施例提供一种数据加载的方法、装置、电子设备及存储介质，能够解决相关技术中在加载大量数据时需要消耗大量时间的问题。

第一方面，本申请实施例提供了一种数据加载的方法，该方法包括：将至少一个待处理数据合并为至少一个目标数据，其中，所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址，每个所述目标数据分别对应一个目标存储地址；基于所述目标存储地址，对所述目标数据进行加载。

第二方面，本申请实施例提供了一种数据加载的装置，该装置包括：合并模块，用于将至少一个待处理数据合并为至少一个目标数据，其中，所述至少一个待处理数据中的一个或多个待处理数据对应一个存储地址，每个所述目标数据分别对应一个目标存储地址；加载模块，用于基于所述目标存储地址，对所述目标数据进行加载。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过将至少一个待处理数据合并为至少一个目标数据，其中，至少一个待处理数据中的一个或多个待处理数据对应一个存储地址，每个目标数据分别对应一个目标存储地址，并基于所述目标存储地址，对目标数据进行加载，使得所有目标存储地址的数量少于所有待处理数据的存储地址的数量，在此基础上基于目标存储地址对所有目标数据进行加载，相较于基于所有待处理数据的存储地址对所有待处理数据进行加载而言，减少了需要加载的存储地址，从而使得数据加载时间更短，这解决了相关技术中在加载大量数据时需要消耗大量时间的问题。

附图说明

图1是本申请实施例提供的一种数据加载的方法的流程示意图；

图2是本申请实施例提供的一种数据分布图；

图3是本申请实施例提供的一种数据合并图；

图4是本申请实施例提供的又一种数据加载的方法的流程示意图；

图5是本申请实施例提供的另一种数据分布图；

图6是本申请实施例提供的另一种数据合并图；

图7是根据本申请的一个实施例的一种数据加载的装置的结构示意图；

图8是根据本申请的另一个实施例的电子设备的结构示意图。

具体实施方式